您的位置: 首页 > 文章 > Spark on Yarn-cluster 和 Yarn-client 区别

Spark on Yarn-cluster 和 Yarn-client 区别

分类: 文章 • 2023-03-26 20:48:33

Yarn-cluster 和 Yarn-client 区别

SparkContext 初始化不同，这也导致了 Driver 所在的位置不同，Yarn-cluster 的 Driver 是在集群的某一台 NodeManager 上，但是 Yarn-client 是在 Driver 所在的机器上

Driver 会和 Executors 进行通信，这也导致了 Yarn-cluster 在提交app之后可以关闭客户端，而 Yarn-client 不可以

Yarn-cluster 适合用于生产环境，Yarn-client 适合交互调试

⚠️ spark-shell/spark-sql 只支持 Yarn-client 模式，spark-submit 支持两种模式

Spark on Yarn-client 架构图

Spark on Yarn-cluster 和 Yarn-client 区别

Spark on Yarn-cluster 架构图