Spark Client和Cluster两种运行模式的工作流程

1.client mode:

 In client mode, the driver is launched in the same process as the client that submits the application..也就是说在Client模式下，Driver进程会在当前客户端启动，客户端进程一直存在直到应用程序运行结束。

该模式下的工作流程图主要如下：

工作流程如下：

           1.启动master和worker . worker负责整个集群的资源管理，worker负责监控自己的cpu,内存信息并定时向master汇报

           2.在client中启动Driver进程，并向master注册

           3.master通过rpc与worker进行通信，通知worker启动一个或多个executor进程

           4.executor进程向Driver注册，告知Driver自身的信息，包括所在节点的host等

           5.Driver对job进行划分stage，并对stage进行更进一步的划分，将一条pipeline中的所有操作封装成一个task，并发送到向自己注册的executor进程中的task线程中执行

           6.应用程序执行完成，Driver进程退出

client mode下几点重要的说明：

1、Driver进程就是开始执行你Spark程序的那个Main函数，它可以在任何节点(可以是spark集群内的节点,Master节点或Worker节点;也可以是有spark环境但不是spark集群内的某台机器)；Worker就是Slave节点，Executor进程必然在Worker节点上，用来进行实际的计算

2、client mode下Driver进程不运行在Worker节点上，所以相对于参与实际计算的Worker节点而言，Driver就相当于是一个第三方的“client”

3、正由于Driver进程不在Worker节点上，所以不会消耗Worker节点上的资源

4、client mode下Master和Worker节点必须处于同一片局域网内，因为Drive要和Executor通信，例如Driver需要将Jar包通过Netty HTTP分发到Executor，Driver要给Executor分配任务等

5、client mode下没有监督重启机制，Driver进程如果挂了，需要额外的程序重启
 

 

2.cluster模式：

In cluster mode, however, the driver is launched from one of the Worker processes inside the cluster, and the client process exits as soon as it fulfills its responsibility of submitting the application without waiting for the application to finish.也就是说，在cluster模式下，Driver进程将会在集群中的一个worker中启动，而且客户端进程在完成自己提交任务的职责后，就可以退出，而不用等到应用程序执行完毕

该模式下的工作流程图如下：

工作流程如下：

            1.在集群的节点中，启动master , worker进程，worker进程启动成功后，会向Master进行注册。

            2.客户端提交任务后，ActorSelection（master的actor引用）,然后通过ActorSelection给Master发送注册Driver请求（RequestSubmitDriver）

            3.客户端提交任务后，master通知worker节点启动driver进程。(worker的选择是随意的，只要worker有足够的资源即可)

               driver进程启动成功后，将向Master返回注册成功信息

            4.master通知worker启动executor进程

            5.启动成功后的executor进程向driver进行注册

            6.Driver对job进行划分stage，并对stage进行更进一步的划分，将一条pipeline中的所有操作封装成一个task，并发送到向自己注册的executor

              进程中的task线程中执行

            7.所有task执行完毕后，程序结束。

cluster mode下几点重要的说明：

1、Driver程序在某个worker节点，但是这个节点由Master指定

2、Driver程序占据Worker的资源

3、cluster mode下Master可以使用–supervise对Driver进行监控，如果Driver挂了可以自动重启

4、cluster mode下Master节点和Worker节点一般不在同一局域网，因此就无法将Jar包分发到各个Worker，所以cluster mode要求必须提前把Jar包放到各个Worker节点对应的目录下面
 

 

通过上面的描述我们知道：Mater负责整个集群的资源的管理和创建worker，worker负责当前结点的资源的管理，并会将当前的cpu，内存等信息定时告知master,并且负责创建Executor进程(也就是最小额资源分配单位)，Driver负责整个应用任务的job的划分和stage的切割以及task的切割和优化，并负责把task分发到worker对应的节点的executor进程中的task线程中执行, 并获取task的执行结果，Driver通过SparkContext对象与spark集群获取联系，得到master主机host，就可以通过rpc向master注册自己。