ScalaでSpark Dataframe。 たまにメモリ解放しないと謎挙動示すので注意。 irisを使用 //CSVの読み込み。OptintionのInferSchema tureで型を自動認識する var df = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load(f…

列の追加に癖がある。 単純に列指定で追加するのが難しいようだ。 import org.apache.spark.sql.SparkSession //Dataset 化 val spark = SparkSession.builder().appName("Spark SQL basic example").config("spark.some.config.option", "some-value").mast…

ScalaでSpark。pythonの方が多いが気にしない 適宜追加予定 //CSV読み込み scala> val df = spark.read .format("csv").option("header", "true").option("mode", "DROPMALFORMED").option("inferSchema","True").load("iris.csv") // 各列の型表示 scala> d…

位置参照（スライス）に関して追記 1. ListやArrayの操作基本 scala> val test_array = (0 to 10).toArray test_array: Array[Int] = Array(0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10) //範囲抽出 scala> test_array.slice(3,7) res38: Array[Int] = Array(3, 4, 5,…

追記：WindowsはCUDA9.1未対応。Windowsは下記参照 tatabox.hatenablog.com cuDNN7でpython3.6とCUDA9.1に対応。インストールが簡単になった。 1. CUDAを下記から落としてインストール CUDA （現時点では9.1が最新） https://developer.nvidia.com/cuda-down…

ケムイオンフォマティクス用のツールキット、 RDkitのインストールとPycharmの設定に苦労したのでメモ 公式の通りにインストールするとimport Errorで苦しむので注意 （自己紹介） 1. Anacondaをインストール www.anaconda.com 2. Anacondaプロンプトに下記…

1. CUDAを下記から落としてインストール CUDA （9はwindowsで動かないので8台を選択） https://developer.nvidia.com/cuda-downloads 2. cuDNNを下記から落とす。 (6以上のwindows版を選択) cuDNN https://developer.nvidia.com/rdp/form/cudnn-download-sur…

10分で科学計算＋pythonのコーディング環境構築（自動補完）まで。 anacondaとVisual Studio Codeの組み合わせになる。 Visual Studio Code（VScode）はMS製のIDEだがmac、linuxでも動く。 Markdownでも優秀なツールであり、少しマイナーだがお勧め。 環境構…

忘れそうなのでメモ書き。 （現状のOpenCVはpython3.5までしか対応していない） 1.Anacondaでpython3.6を入れる。 Download Anaconda Now! | Continuum 2.conda-forge/opencv-feedstockを入れる github.com 手順(コマンドプロンプト） conda config --add ch…

Pythonで株・為替・先物解析の解析をしてみる。 そのままmatplotlibで描画すると土日祝日が空欄になるため、軸を別設定した。 import jsm import datetime import pandas as pd import matplotlib.dates as mdate import matplotlib.finance import pylab as…

とりあえず書いてみた。 以下のようなデータがあるとして pos cur lots price Buy USD 10,000,000 120.5 Buy USD 10,000,000 119.5 Buy EUR 1,000,000 132.5 Buy EUR 1,000,000 130.5 Sell USD 10,000,000 121.5 Buy USD 10,000,000 118.5 Sell USD 10,000,0…

OSを判定して日本語対応させる。 os.nameがntならcp932、それ以外ならutf-8でエンコードする。 import os import PySide from PySide import QtCore,QtGui import cv2 #OSチェック def os_check(): #windows if os.name is 'nt': code = 'cp932' return code…

久しぶりの更新。以下の続き PyQt(PySide)とOpenCVで画像処理その5（イベントフィルター） - tataboxの備忘録 PyQt(PySide)でサブウィンドウを呼び出したり、ウィジットを追加してみる。 1.QtDesigner で下のように作る Main window (ファイル名:main.ui obj…

画像にスケールを書き込む必要があり、線や文字の書き込み法を調べたのでメモ。 (1) 線の書き込み cv2.line(image,(start_x,start_y),(end_x,end_y),color,thickness) (2)文字の書き込み cv2.putText(image,text,(start_x,start_y),font, font size,color) …

前回の続きということで、マウス操作にてカーソル位置の取得を行う。 PyQt(PySide)とOpenCVで画像処理その4（右クリックメニュー） - tataboxの備忘録 イベントフィルターを使用する。 前回のコードに下記を追加 def __init__(self, parent = None): ・ ・ …

前回の続き。コンテキストメニュー（右クリックメニュー）の追加方法について。 PyQt(PySide)で画像処理その3（OpenCVとの連携） - tataboxの備忘録 main_setup.pyに下記を追記 def __init__(self, parent = None): ・ ・ ・ #ここから pic_view = self.pic_…

前回の続き。 PyQt(PySide)で画像処理その2（GUI動作設定の基本） - tataboxの備忘録 今回はExecuteボタンを押すと1)表示画像をOpencvにてエッジ検出し、 2)GUIにて元画像と重ねて表示するコードを作成する。 OpenCVにて画像処理する下記のコードを作成し、o…

PyQt(PySide)で画像処理（その１） - tataboxの備忘録 前回の続き。 画像と重なるため、若干レイアウトを変更しました。 というわけで、Qtで画像を開き、画像に合わせてフレームのサイズを変更するコードです。 前回作成したpyqt_Opencv.pyと同じフォルダに…

久々の更新。 PyQt（やPySide）とOpenCVで画像処理GUIアプリを作ってみる。 ※8/31追記 guiqwtはpysideで動かない⇒graphics Viewに変更 1.画面レイアウトの作成 (1)メイン画面 QtDesignerを立ちあげてMainwindowを選択（MacはQt Createrから作成）。 (2)ウィ…

pandasを使用して散布図行列や箱ひげを書いてみる。 データはirisを使用。 https://raw.github.com/pydata/pandas/master/pandas/tests/data/iris.csv （日本語環境テストのため、Nameを種類、lengthを長さ、widthを幅に置換して使用） 前提条件のmatplotlib…

vimのコマンドを整理。 i 入力モード : コマンドモード v ビジュアルモード esc ノーマルモード ノーマルモード 移動 h ↑ j ↓ k ← l → w 次の単語に移動 b 前の単語に移動 e 単語の末尾に移動 gg 先頭行 G 最終行 delete x 行削除 dd 一行コピー yy 単語コピ…

タンパク質とか化学式を可視化するソフト。 pythonのインストールが必要。 インストール http://biokids.org/?PyMOL%2F%A5%A4%A5%F3%A5%B9%A5%C8%A1%BC%A5%EB 使い方 http://web.chaperone.jp/w/index.php?PyMOL%2Fusage

下記サイトを参考 http://d.hatena.ne.jp/killingout_n-bita/20130324/1364126261 http://d.hatena.ne.jp/snaka72/20100602/1275496817 http://d.hatena.ne.jp/shim0mura/20111212/1323660740 1.基本 #フォルダの初期化 git init #フォルダ内のファイルを監…

参照というかそのまま http://qiita.com/puriketu99/items/1c32d3f24cc2919203eb cd ~/vimfiles/bundle git clone https://github.com/Shougo/neobundle.vim git clone https://github.com/Shougo/vimproc _vimrcに下記を記載 if has('vim_starting') set ru…

Opencvで面積計算。 もう少し修正するかも。

IPython Notebookの外部出力 基本ここの通り http://thomassileo.com/blog/2012/11/19/setup-a-remote-ipython-notebook-server-with-numpyscipymaltplotlibpandas-in-a-virtualenv-on-ubuntu-server/ pyQtは下で落とす http://pkgs.org/centos-6-rhel-6/cen…

nginx + gunicorn + Djangoで 基本ここの通り http://source.hatenadiary.jp/entry/2013/06/11/132346 gunicornのインストール $ sudo easy_install gunicorn nginxのインストール $ sudo yum install nginx ログファイル用のフォルダ作成 $ sudo mkdir /etc…

vagrantfieの下記行にてIPを指定 config.vm.network :private_network, ip: "192.168.33.10" SentOSのファイアウォールを解除 sudo service iptables stop これでVagrnt中CentOSのweb画面が確認可能 http://192.168.33.10 Djangoの起動と設定 $ cd /var/www …

MySQL5.6のインストール 参考 http://kurukuru-labo.com/tech/2013/05/centos6-4%E3%81%ABmysql5-6%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%99%E3%82%8B/ http://y-ken.hatenablog.com/entry/how-to-install-mysql5.6.x-with…

参考 http://dqn.sakusakutto.jp/2013/08/windows_vagrant_ssh.html http://qiita.com/ogomr/items/0a2ac80206bad4fa3089 C:\HashiCorp\Vagrant\embedded\bin\mintty.exe の使い方 #使えない $ vagrant ssh 下記のコマンドを一度実行 #sshのログイン情報を書…