spark的foreach(println)看不到输出结果

spark-shell --master yarn启动后，

代码如下:

scala>  var rdd1=sc.makeRDD(1 to 4,2)

scala> rdd1.foreach{x=>println(x+4)}

scala> var rdd2=sc.makeRDD(1 to 12,3)

scala>  rdd2.foreachPartition{x=>println("--------------")}

scala>  rdd2.foreachPartition{x=>println(x.size)}

在交互式界面我们看不到任何结果，那么结果在哪里呢？

打开spark的web UI

master:8088

然后选择右下方的两个stdout

因为是spark on yarn

所以当你点击stdout的时候，连接会跳转回yarn界面。

 

可以看到，两台机子的结果是:

5 6 7 8

和 4 4 4 4