Spark内核深度剖析之宽依赖和窄依赖

在之前提到了DAGScheduler会将job划分为多个stage，而划分依据就是RDD之间的依赖关系。RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）.

窄依赖：窄依赖是指一个RDD对它的父RDD只有简单的一对一的依赖关系，即RDD的每个partition只依赖于父RDD中的一个partition。
比如wordcount程序中第一步将lines RDD 按空格切分为words RDD 如图：

就是一个窄依赖，这是最简单的一种RDD之间的依赖，一个partition对应一个partition。第二步将words RDD 映射为paris RDD也是一个窄依赖。

宽依赖：它的本质就是shuffle，在这种依赖关系中，每一个父RDD的partition中都可能会传输一部分到下一个RDD的每个partition中，即多对多的关系。比如在wordcount程序中的最后一步reduceByKey中。paris RDD和最终的wordsCount RDD之间就是一种宽依赖的关系。如图：

两个RDD之间发生的操作就是shuffle。

其中在整个wordcount程序的执行过程中，前两步是同一个stage，同一批task。等到了聚合阶段就分出一个新的stage，新的一批task会被执行。