tata色々な備忘録

データ解析、画像解析、化学分析などなど

ファイル結合とテキスト処理2

CSVファイルの数珠つなぎ。

① 列名のリストを作成
② 空ファイルに①を記入
CSVファイルで①の行を読み飛ばし
④ 必要事項を追記して書き込み

from __future__ import with_statement
import re

head_row=u"CSVの列名リスト"
head_gomi= u"ヘッダーのゴミ"

pattern0 = re.compile(head_row)  
pattern1 = re.compile(head_gomi)

with open('syukei.csv','ab') as f1:
  f1.write(head_row)
    for name in glob.glob('*\*.csv'):
        for list in open(name,'r'):
            if pattern0.search(list):
                pass
            elif pattern1.search(list):
                pass
            else
                strings = r'_'
                name2 = re.sub(str(strings),r',',name)
                list2 = list.rstrip('\n') + r',' +name2 + '\n'
                f1.write(list2)

同じ列を有すCSVファイル結合はこれが一番簡単かな。

pandas使う手もあるが、日本語操作周りにバグが多いので、
実務レベルだと厳しいっすね。