ca5
2/5/2016 - 5:05 AM

CROSS2016メモ

CROSS2016メモ

CROSS2016メモ

1.BigQuery x Amazon Redshift

BigQueryについて(Google)

  • Jupiter network (Googleが独自で作ったネットワーク環境)
  • Borg (Google 独自のコンテナ)
  • 上限をつけることはできる
  • 固定料金プランが出たらいいな

利用例(Cyber Agent)

BigQuery

  • ログは GCPにfluentdでstreaming insert
  • スキーマ変更少ない、JOINあんまりしないもの

RedShift

  • 定常的に分析するようなもの
  • スキーマ変更多い、JOIN多い
  • 100Node以上つかってる

Spark

  • 定常バッチ

actian Matrix

tableau

利用例(Biglobe)

  • BIGLOBE SIMの通信料集計処理などで使っている
  • 全51億レコード daily 1700万 260GB
  • 2台 (スペック忘れた)
  • メンテナンスウィンドウ

利用例(どこかふめい・・・)

  • GAP(GoogleAnalyticsPremium)でデータをBigQueryに吐き出す
  • GAPは月額130万
  • JSON形式でユーザIDごとのデータを貯めている repeated field
    • 通常のカラムでデータをバラして入れるより安く済む(カラム数を減らせる)
    • https://cloud.google.com/bigquery/docs/data#nested
    • そのままだと使いづらいので、view で使いやすいテーブルに変えて使ってる
  • エクセルと接続ができる → データ欲しい人にExcelをそのまま渡して使ってもらう

2. Docker運用の話

※あんまり実運用の話出てこなかった

Dockerとは

  • (省略)
  • docker-compose
  • docker-swarm

Docker社の話

  • ビジネスモデルどうなってるの?(知らない)

Docker運用