BooookStore
8/5/2017 - 1:31 AM

ペアRDDの作成

ペアRDDの作成

// 外部ファイルから一行を一つの要素として読み込み
val lines = sparkContext.textFile("./SampleTextFile.md")

// 行の先頭単語と、行全体をタプルとしてペアRDDを作成
val pairs = lines.map(x => (x.split(" ")(0), x))

// 直接タプル値からペアRDDを作ることも可能
val animal = sparkContext.parallelize(List(
      ("panda", 0),
      ("pink", 3),
      ("pirate", 3),
      ("panda", 1),
      ("pink", 4)
    ))