Spark:检索驱动器上保存的文件
问题描述:
我在中使用了spark组合模式。我使用import java.io.PrintWriter
将驱动节点上的字符串中包含的一些结果保存。Spark:检索驱动器上保存的文件
HOwever,在纱线丛集模式下,dirver是集群节点之一。而且我无法在流程结束时设法检索这些文件。我还没有找到。
答
最好的解决方案是将它们保存在HDFS上。
我没试过,但你应该能够做到这一点:
sc.textFiles( “文件:// namenode的:端口/路径/到/输入”)
我不能来与其他想法相比,将这些文件保存到共享位置。它可以是一个分布式文件系统,如HDFS,或者一些文件服务器,比如ftp。 – 4e6