Spark各阶段执行流程简介(图片)

Spark各过程详解图

Spark 是美国加州大学伯克利分校的 AMP 实验室(主要创始人 lester 和 Matei)开发的 通用的大数据处理框架。
本文就以下几个小方面来简介一下spark各阶段的流程:
包括Spark启动过程,Spark运行原理框架图,Spark stage阶段划分算法,SparkContext的构建过程,Spark-on-yarn模式讲解,SparkMasterHA机制,Worker节点的原理,SparkJob的提交过程

Spark启动过程

Spark 有 4 中运行模式:

  1. local 模式,适用于测试。
  2. standalone,并非是单节点,而是使用 spark 自带的资源调度框架 。
  3. yarn,最流行的方式,使用 yarn 集群调度资源 。
  4. mesos,国外使用的多。
    Spark各阶段执行流程简介(图片)

Spark运行原理框架图

Spark各阶段执行流程简介(图片)

Spark stage阶段划分算法

Spark各阶段执行流程简介(图片)

SparkContext的构建过程

Spark各阶段执行流程简介(图片)

Spark-on-yarn模式讲解

Spark各阶段执行流程简介(图片)

SparkMasterHA机制

Spark各阶段执行流程简介(图片)

Worker节点的原理Spark各阶段执行流程简介(图片)

SparkJob的提交过程

Spark各阶段执行流程简介(图片)