Spark:检索驱动器上保存的文件

问题描述:

我在中使用了spark组合模式。我使用import java.io.PrintWriter将驱动节点上的字符串中包含的一些结果保存。Spark:检索驱动器上保存的文件

HOwever,在纱线丛集模式下,dirver是集群节点之一。而且我无法在流程结束时设法检索这些文件。我还没有找到。

+0

我不能来与其他想法相比,将这些文件保存到共享位置。它可以是一个分布式文件系统,如HDFS,或者一些文件服务器,比如ftp。 – 4e6

最好的解决方案是将它们保存在HDFS上。

我没试过,但你应该能够做到这一点:

sc.textFiles( “文件:// namenode的:端口/路径/到/输入”)