CROSS2016メモ

1.BigQuery x Amazon Redshift

BigQueryについて(Google)

• Jupiter network (Googleが独自で作ったネットワーク環境)
• Borg (Google 独自のコンテナ)
• 上限をつけることはできる
• 固定料金プランが出たらいいな

利用例(Cyber Agent)

BigQuery

• ログは GCPにfluentdでstreaming insert
• スキーマ変更少ない、JOINあんまりしないもの

RedShift

• 定常的に分析するようなもの
• スキーマ変更多い、JOIN多い
• 100Node以上つかってる

Spark

• 定常バッチ

actian Matrix

• Redshiftの元
• 自前でセットアップ？
• http://itpro.nikkeibp.co.jp/article/NEWS/20140218/537488/

tableau

利用例(Biglobe)

• BIGLOBE SIMの通信料集計処理などで使っている
• 全51億レコード daily 1700万 260GB
• 2台 (スペック忘れた)
• メンテナンスウィンドウ

利用例(どこかふめい・・・)

• GAP(GoogleAnalyticsPremium)でデータをBigQueryに吐き出す
• GAPは月額130万
• JSON形式でユーザIDごとのデータを貯めている repeated field
  • 通常のカラムでデータをバラして入れるより安く済む(カラム数を減らせる)
  • https://cloud.google.com/bigquery/docs/data#nested
  • そのままだと使いづらいので、view で使いやすいテーブルに変えて使ってる
• エクセルと接続ができる → データ欲しい人にExcelをそのまま渡して使ってもらう
  • こういうの http://qiita.com/harukasan/items/2a0e24da6cfcc3b56de0

2. Docker運用の話

※あんまり実運用の話出てこなかった

Dockerとは

• (省略)
• docker-compose
• docker-swarm

Docker社の話

• ビジネスモデルどうなってるの？(知らない)

Docker運用