使用配置文件提交作业

问题描述：

将以纱线客户端模式提交作业并提交spark-submit。属性文件AA.conf位于$ current_dir内。使用配置文件提交作业

（1）AA_With_All_Jars.jar将被复制到所有节点？（2）AA.conf将被复制到所有节点？（3）如果输出文件生成为$ current_dir/data，它将工作吗？

如果将模式更改为纱群，会发生什么情况？一样吗？

spark-submit \ 
--conf "spark.driver.extraClassPath=$current_dir/AA_With_All_Jars.jar" \ 
--class "MyMain" \ 
--master yarn-client \ 
--num-executors 4 \ 
--driver-memory 16g \ 
--executor-cores 10 \ 
--executor-memory 6g \ 
$current_dir/AAA-assembly.jar $current_dir T-2 2>&1 | tee ./my_log

感谢

答

不知道我理解你的问题

据我了解，你可以做火花通过指定配置文件的路径提交。我建议的最好的方法是将jar文件和配置文件移动到hdfs然后提交。下面

答

就是我的回答

（1）AA_With_All_Jars.jar将被复制到所有节点？

是这将被复制到所有节点

（2）AA.conf将被复制到所有节点？

没有只罐子文件被复制

（3）如果一个输出文件被生成以$ current_dir /数据，它将工作？

火花作业的输出，你正在编写到HDFS，所以你可以从任何节点访问

使用配置文件提交作业

相关推荐