有没有一种很好的方法来在Spark中添加单词？

Question

下面是一个例子。

数据集 - dataset.txt

1 banana kiwi orange melon

代码

scala> val table = sc.textFile("dataset.txt").map(_.split(" ")) 

scala> table.take(1) 

res0: Array[Array[String]] = Array(Array(1, banana , kiwi , orange, melon)) 

scala> val pairSet = table.map{case Array(key,b,k,o,m) => (key, b+" "+k+" "+o+" "+m)} 

scala> pairSet.take(1) 

res1: Array[(String, String)] = Array((1, banana kiwi orange melon)) 

我不知道这是否追加在pairSet值的部分是有效的。或者，还有更好的方法？

Answer 1

您可以通过首次出现的空格拆分&创建key & value从中删除。

val table = sc.textFile("dataset.txt").map { x => 
    val splits = x.split(" ",2) 
    (splits(0), splits(1)) 
} 

Answer 2

只有当数组中的数据总是有相同数量时，您的逻辑方法才会有效。你也可以试试这个。

val table = sc.textFile("dataset.txt") 
val pairedDF = table.map{ line => 
         val array = line.split(" ", 2) 
         (array(0), array(1)) 
         } 

通过使用这里面你是不是限制阵列是分裂后的固定大小。

希望这个作品对你罚款。

谢谢