Spark系列八:在集群上运行Spark
Spark运行时架构
分布式环境:主从结构
一个Spark集群,
驱动器(Driver节点):一个节点负责中央协调,调度各个分布式工作节点
执行器(executor节点):可以和大量的执行器节点进行通信,也作为独立的Java进程运行
Spark应用(application):驱动器节点 + 所有执行器节点。 通过一个叫集群管理器(Cluster Manager)的外部服务在集群中的机器上启动。
1. 驱动器节点:
Spark运行时架构
分布式环境:主从结构
一个Spark集群,
驱动器(Driver节点):一个节点负责中央协调,调度各个分布式工作节点
执行器(executor节点):可以和大量的执行器节点进行通信,也作为独立的Java进程运行
Spark应用(application):驱动器节点 + 所有执行器节点。 通过一个叫集群管理器(Cluster Manager)的外部服务在集群中的机器上启动。
1. 驱动器节点: