Spark系列八:在集群上运行Spark

Spark系列七:Spark编程进阶

Spark运行时架构

分布式环境:主从结构

一个Spark集群,

驱动器(Driver节点):一个节点负责中央协调,调度各个分布式工作节点

执行器(executor节点):可以和大量的执行器节点进行通信,也作为独立的Java进程运行

Spark应用(application):驱动器节点 + 所有执行器节点。 通过一个叫集群管理器(Cluster Manager)的外部服务在集群中的机器上启动。

Spark系列八:在集群上运行Spark

1. 驱动器节点:

Spark系列八:在集群上运行Spark

Spark系列八:在集群上运行Spark