Spark各阶段执行流程简介(图片)
Spark各过程详解图
Spark 是美国加州大学伯克利分校的 AMP 实验室(主要创始人 lester 和 Matei)开发的 通用的大数据处理框架。
本文就以下几个小方面来简介一下spark各阶段的流程:
包括Spark启动过程,Spark运行原理框架图,Spark stage阶段划分算法,SparkContext的构建过程,Spark-on-yarn模式讲解,SparkMasterHA机制,Worker节点的原理,SparkJob的提交过程
Spark启动过程
Spark 有 4 中运行模式:
- local 模式,适用于测试。
- standalone,并非是单节点,而是使用 spark 自带的资源调度框架 。
- yarn,最流行的方式,使用 yarn 集群调度资源 。
- mesos,国外使用的多。