spark 提交任务方式(spark-yarn和spark-client)
yarn-cluster和yarn-client方式的区别:
yarn-cluster的ApplicationMaster在任一一台NodeManager上启动,申请启动的Executor反向注册到AM所在的NodeManager,
而yarn-client方式的用ExecutorLancher替代AM,ExecutorLancher的作用很有限,它向RM申请一批container启动Executor,
而启动的Executor反向注册到提交任务的机器上的driver进程
具体的流程细节参照下面的流程图
建议:
调试的情况下可以使用yarn-client方式,可以直接在控制台查看日志,yarn-cluster方式查看日志的话还需要用yarn application -logs applicationid这种方式