1/14/2016 - 2:13 PM

Embulk how to

移動しました

Embulk

Embulkってなに？ということから、Embulkのプラグインを開発するところまでをまとめたページです。

古橋さんブログから EmbulkはFluentdのバッチ処理版のようなツールで、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができるコンパクトなツールです。

トレジャーデータブログもあわせて読みましょう。

既に色々なプラグインが開発されています。

Embulk 0.4.0リリースで、プラグイン構造が代わり新しいgemは、Embulk-{Input|Output|Filter}-XXXという名前で作成するようになりました。ここに記載しているGemは0.3.2以前に作られたものです。ご注意ください。

最新のパッケージはこちらを参照してください。 Search embulk packages in Rubygems

embulk-plugin-input-sfdc-event-log-files Salesforceイベントログ読込み
embulk-plugin-redis NoSQL Redisからの読込み
embulk-plugin-input-hbase NoSQLの一つHBaseからデータを読み込む
embulk-plugin-input-pcapng-files WireSharkなどでパケットキャプチャをした際のPcapNg形式で保存されたファイルを読込む
embulk-plugin-input-random テストやベンチマークのためにダミーデータを作るプラグイン (解説embulk-plugin-input-randomを作った)
embulk-plugin-twitterstream TwitterStreamからデータを得るInputプラグイン
embulk-plugin-s3 Amazon S3からデータを取得するインプットプラグイン
embulk-plugin-input-slack-history ChatシステムSlackからデータを取得するプラグイン
embulk-plugin-input-jstat JavaVMの統計情報(jstat)を読み込むプラグイン
embulk-plugin-input-nicocomment ニコニコ動画からコメントを抽出するプラグイン
embulk-plugin-input-roo-excelExcelのxlsxファイルからデータを取得するプラグイン

embulk-output-elasticsearch 全文検索システムElasticSearchにデータを出力するプラグイン
embulk-plugin-redis NoSQL Redisへの書き込み
embulk-plugin-postgres-json PostgreSQLのJSONカラムへの出力
embulk-plugin-vertica ビックデータ解析のためのソフトウェアVerticaへデータを格納するためのプラグイン
embulk-plugin-vim Vimへの出力
embulk-plugin-mysql MySQLのテーブルへデータを出力するプラグイン
embulk-plugin-sqlite3 SQLiteのテーブルへデータを出力するプラグイン
embulk-plugin-output-fluent-logger-ruby Embulkで取り込んだデータをfluentdに出力するプラグイン(gemにはしていません)
標準のOutputに関する覚書

自分でプラグインを書こうと思っているひとはこのあたりを参考にしましょう。なおEmbulk 0.4から、プラグインジェネレータが利用できるようになるようです。