JavaPairRDD到数据帧中的Apache火花用java

Question

我有一些文档文件，我试图读取数据，然后用索引拉链使用zipWithIndex（）函数如下：

JavaRDD<String> rawTextRDD = sc.textFile("demo.txt"); 
    JavaPairRDD<String, Long> zipIndex = rawTextRDD.zipWithIndex(); 

zipIndex的该值之后，含有JavaPairRDD键值对，看起来像[“这是美丽的图片”，0]，[“这是另一张图片”，1]。

但现在，我想zipIndex转换成数据帧使用：

DataFrame docDF = sqlContext.createDataFrame(zipIndex, TextId.class); 

功能createDataFrame不接受参数zipIndex（文本ID是2属性的类：字符串文字和int的docId）。

我在斯卡拉也有一个代码，它运行得非常好。请参考：

val rawTextRDD = sc.textFile("demo.txt") 
val docDF = rawTextRDD.zipWithIndex.toDF("text", "docId") 

如果有任何解决方案。请帮我解决。谢谢

Answer 1

试试这个：DataFrame docDF = sqlContext.createDataFrame（zipIndex.values（），TextId.class）;