【Spark】spark执行模式
一、standalone模式
1.standalone下的client模式
./spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.1.jar 1000
或者
./spark-submit --master spark://node1:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.1.jar 1000
执行原理图：
client：执行任务的节点
application：spark代码
①Worker节点和Master节点是会进行通信的，Worker会把资源信息反馈给Master
②client端提交application，client端会启动driver，来进行任务调度。
③driver会向Master申请用于执行application的资源
④申请到资源以后，driver会把task任务发送到Worker端执行
⑤worker端会将执行情况和结果返回给driver
缺点：存在流量激增问题，比如说一个节点上要执行好几千个application，那么这个节点上就会有几千个driver，就会导致客户端所在的节点上存在网卡流量暴增的问题。所以这个模式一般只用于测试
2.standalone下的cluster模式
./spark-submit --master spark://node1:7077 --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.1.jar 100
注意：
Standalone-cluster提交方式，应用程序使用的所有jar包和文件，必须保证所有的worker节点都要有，因为此种方式，spark不会自动上传包。
解决方式：
（1）将所有的依赖包和文件打到同一个包中，然后放在hdfs上。
（2）将所有的依赖包和文件各放一份在worker节点上
执行原理图：
①client提交application应用程序，然后会向Master申请启动Driver
②Master会随机找一台节点启动driver
③driver启动后会向Master申请用于执行application的资源
④申请到资源以后，driver会把任务发送到worker节点上执行
⑤worker端会把执行情况和结果返回给driver
总结Standalone两种方式提交任务，Driver与集群的通信包括：
1. Driver负责应用程序资源的申请
2. 任务的分发。
3. 结果的回收。
4. 监控task执行情况
二、YARN模式
1.yarn下的client模式
./spark-submit --master yarn --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.1.jar 100
执行原理图：
①客户端提交application，会在当前节点启动一个driver
②发送请求到ResourceManager，请求启动ApplicationMaster
③RM收到请求后会随机在一台NodeManager节点上启动AM
④AM启动后会向RM申请一批Container资源用于启动Executor
⑤RM会返回一批NM节点
⑥AM收到这些NM节点信息之后会去对应的NM上启动Executor，Executor启动后会反向注册给driver
⑦driver会把task任务发送到Executor上执行，并且监控task执行情况，回收结果
缺点：同样存在流量激增问题，比如说一个节点上要执行好几千个application，那么这个节点上就会有几千个driver，就会导致客户端所在的节点上存在网卡流量暴增的问题。所以这个模式一般只用于测试
2.yarn下的cluster模式
./spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.1.jar 100
执行原理图：
①客户端提交application，发送请求到RS，请求启动AM
②RM会随机找一台NM节点启动AM，这时AM相当于driver端
③AM启动后会向RS请求一批Container用于启动Executor
④RS会返回一批NM节点
⑤AM会去启动Executor，executor启动后会反向注册给deriver
⑥driver会发送task任务到executor上执行，并监控执行情况，回收结果
ApplicationMaster的作用：
1.为当前的Application申请资源
2.给NodeManger发送消息启动Excutor。
3.任务调度。