Spark Reccomend engine

• Spark MlLib (Batch)

• Apach Kafka + Spark Streaming (Real time)

• Real-time Recommendations

• Spark/Mlibでやってみる協調フィルタリング

Spark Mllib

Sparkの機械学習用のライブラリ

提供ツール

• ML Algorithms: 回帰、クラスタリング、協調フィルタリングなどの一般的な学習アルゴリズム

• Featurization: 特徴抽出、変換、次元削減、選択

• Pipelines: MLパイプラインの構築、評価、チューニングのためのツール

• Persistence: モデル、パイプラインの保存、ロードアルゴリズム

• Utilities: 線形代数、統計、データ処理など

• Spark の MLlib を使った Dataproc でのレコメンドシステムの実装

recommendation module

MatrixFactorizationModel

規則正しくされた交互の最小二乗法で訓練された行列因子分解モデル

ALS

交互最小二乗法行列因子分解

Rating

評価を表すコンパクトなクラス

Spark Streem

大規模ストリームデータ処理エンジン

• Kafka + Spark Streaming

Apache Kafka

分散メッセージングシステム

• Fast
• Scalable
• Durable
• Distributed by Design

http://deeeet.com/writing/2015/09/01/apache-kafka/