spark Cluster Mode

spark Cluster Mode
1、SparkContext 和cluster manager(standalone、yarn等)建立连接,给APP分配资源
2、获得executor
3、发送jar给executor
4、sparkContext发送task给executor
note:
1、每个application都是独立的,driver端调度task,executor端task运行在不同的jvm上

术语

Term meaning
Task 发送到executor的work
Job spark action(e.g. save, collect)中并行计算的产物
Stage 每个job divided成的 一组tasks,stages互相依赖

spark 官方 cluster 介绍