spark Cluster Mode
1、SparkContext 和cluster manager(standalone、yarn等)建立连接,给APP分配资源
2、获得executor
3、发送jar给executor
4、sparkContext发送task给executor
note:
1、每个application都是独立的,driver端调度task,executor端task运行在不同的jvm上
术语
Term | meaning |
---|---|
Task | 发送到executor的work |
Job | spark action(e.g. save, collect)中并行计算的产物 |
Stage | 每个job divided成的 一组tasks,stages互相依赖 |