So-net無料ブログ作成

SQLite3で大量のCSVを格納する [その他]

1日1ファイルで1分毎の収集データが3ヶ月分あり
それらをSQLiteに格納したかったから、insertを使ったけど遅くて遅くて...30分ほどかかった。

色々しらべたら次の方法を見つけた。

コマンドラインで次を入力するとすっごい速くCSVをテーブルに取り込めた。5秒ほど。
.importは、コマンドラインでしか出来ないので注意。あと、sqlite3.exeが必要です。
>sqlite3 -separator , nippou.sqlite3 ".import total.csv TOTAL_DATA"

total.csv = カンマ区切りのCSVファイル(ヘッダーなし)
TOTAL_DATA = 格納先のテーブル名

3ヶ月分のファイルを1ファイルにするのはVBScripで書いて
入力するのが面倒だったのでBATファイルにしてクリックで取り込むようにした。

nice!(0)  コメント(2)  トラックバック(0) 

nice! 0

コメント 2

みん

初めまして。可能であれば具体的にご教授いただけると幸いです。

「3ヶ月分のファイルを1ファイルにするのはVBScripで書いて
入力するのが面倒だったのでBATファイルにしてクリックで取り込むようにした。」
上記の部分、具体的にどんなコードを書いて実現されているのかご教授いただくこと可能であればお願い致します。
by みん (2015-11-17 06:15) 

CARO

既に問題は解決されましたでしょうか?
CSVファイルをVBScriptで1ファイルにしていましたが、今は、コマンドプロンプトで対応しています。
それらの情報をブログに書きましたので何かのお役にたてば幸いです。

by CARO (2015-12-08 11:05) 

コメントを書く

お名前:
URL:
コメント:
画像認証:
下の画像に表示されている文字を入力してください。

トラックバック 0