Spark StandAlone 模式角色及运行架构

Standalone模式下存在的角色

• Client ：客户端进程，负责提交作业到Master。

• Master ：Standalone模式中主控节点，负责接收Client提交的作业，管理Worker，并命令Worker启动Driver和Executor。

• Worker ：Standalone模式中slave节点上的守护进程，负责管理本节点的资源，定期向Master汇报心跳，接收Master的命令，启动Driver和Executor。

• Driver ： 一个Spark作业运行时包括一个Driver进程，也是作业的主进程，负责作业的解析、生成Stage并调度Task到Executor上。包括 DAGScheduler ， TaskScheduler 。

driver 在worker上，作业提交流程图：

driver 在客户端，作业提交流程图：

Driver 的启动：
SparkSubmit 提交程序后启动 Client 进程， 创建 Client.ClientEndpoint ， onStart() 内向 Master 发送 RequestSubmitDriver 消息
Master 接收请求调用 schedule()方法中发出 launchDriver 消息，由 worker 启动

Client 的启动：
SparkSubmit 提交程序 => org.apache.spark.deploy.Client.main()

Executor 的启动：
new SparkContext()
=> taskScheduler.start => backend.start()
=> backend.start()内 client = new AppClient() => client.start()
=> ClientEndpoint.onStart() 内向 Master 发送 RegisterApplication 请求