列の追加に癖がある。 単純に列指定で追加するのが難しいようだ。 import org.apache.spark.sql.SparkSession //Dataset 化 val spark = SparkSession.builder().appName("Spark SQL basic example").config("spark.some.config.option", "some-value").mast…

ScalaでSpark。pythonの方が多いが気にしない 適宜追加予定 //CSV読み込み scala> val df = spark.read .format("csv").option("header", "true").option("mode", "DROPMALFORMED").option("inferSchema","True").load("iris.csv") // 各列の型表示 scala> d…