spark的执行过程

spark的执行过程
1、spark应用程序启动(driver)
2、调用spark context初始化配置和输入数据
3、spark context启动DAGSchedule构造DAG图,切分任务
4、Driver向Cluster Manager请求计算资源
5、Cluster Manger根据Driver的主机地址等信息同志集群的所有计算节点Worker
6、Worker收到信息,根据Driver的主机地址,向Driver通信注册,根据本地空闲资源,报告可以领取的任务数
7、Driver根据DAG分配任务给Worker
8、Worker收到任务后,启动Executor执行任务,如果本地没有Driver代码,则下载,通过反射加载执行