ScalaでSpark Dataframe。 たまにメモリ解放しないと謎挙動示すので注意。 irisを使用 //CSVの読み込み。OptintionのInferSchema tureで型を自動認識する var df = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load(f…

列の追加に癖がある。 単純に列指定で追加するのが難しいようだ。 import org.apache.spark.sql.SparkSession //Dataset 化 val spark = SparkSession.builder().appName("Spark SQL basic example").config("spark.some.config.option", "some-value").mast…

ScalaでSpark。pythonの方が多いが気にしない 適宜追加予定 //CSV読み込み scala> val df = spark.read .format("csv").option("header", "true").option("mode", "DROPMALFORMED").option("inferSchema","True").load("iris.csv") // 各列の型表示 scala> d…

位置参照（スライス）に関して追記 1. ListやArrayの操作基本 scala> val test_array = (0 to 10).toArray test_array: Array[Int] = Array(0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10) //範囲抽出 scala> test_array.slice(3,7) res38: Array[Int] = Array(3, 4, 5,…

追記：WindowsはCUDA9.1未対応。Windowsは下記参照 tatabox.hatenablog.com cuDNN7でpython3.6とCUDA9.1に対応。インストールが簡単になった。 1. CUDAを下記から落としてインストール CUDA （現時点では9.1が最新） https://developer.nvidia.com/cuda-down…