您的位置: 首页 > 文章 > Spark三 Spark运行核心机制简介

Spark三 Spark运行核心机制简介

分类: 文章 • 2025-05-27 08:45:34

1 由驱动器程序发起集群上的并行操作

例如Spark shell就是驱动器程序，通过对象SparkContext访问Spark

2 驱动器程序包含应用的main函数，定义集群上的RDD，可以对RDD进行相关操作

3 SparkContext是对计算集群的一个连接，shell启动时自动创建SparkContext对象sc

4 集群中的驱动器程序一般要管理多个执行器节点

Spark三 Spark运行核心机制简介