列の追加に癖がある。 単純に列指定で追加するのが難しいようだ。 import org.apache.spark.sql.SparkSession //Dataset 化 val spark = SparkSession.builder().appName("Spark SQL basic example").config("spark.some.config.option", "some-value").mast…

ScalaでSpark。pythonの方が多いが気にしない 適宜追加予定 //CSV読み込み scala> val df = spark.read .format("csv").option("header", "true").option("mode", "DROPMALFORMED").option("inferSchema","True").load("iris.csv") // 各列の型表示 scala> d…

位置参照（スライス）に関して追記 1. ListやArrayの操作基本 scala> val test_array = (0 to 10).toArray test_array: Array[Int] = Array(0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10) //範囲抽出 scala> test_array.slice(3,7) res38: Array[Int] = Array(3, 4, 5,…