Hadoop的shuffle与spark的区别

Hadoop的shuffle

1.maptask执行，outputcollect收集maptask的输出数据，将数据写入环形缓冲区中，记录起始偏移量(split)
2.环形缓冲区默认大小为100M，当数据达到80M时，记录终止偏移量。
3.启动spiller溢出器，将数据进行分区（默认分组根据key的hash值%reduce数量进行分区），分区内进行快速排序
4.分区，排序结束后，将数据刷写到磁盘（这个过程中，maptask输出的数据写入剩余20%环形缓冲区，同样需要记录起始偏移量）
5.maptask将形成的多个小文件做归并排序合并成一个大文件
6.当有一个maptask执行完成后，appMaster申请资源，启动reducetask
7.reducetask到运行完成maptask的机器上拉取属于自己分区的数据
8.reducetask将拉取过来的数据进行merge操作，归并排序数据，将数据按相同key“分组”，每组数据调用一次reduce（）方法
9.执行reduce逻辑，将结果输出到文件

具体理解上我觉得这张图更加简单明了：

Spark的shuffle与Hadoop的shuffle的区别

Spark的shuffle划分是基于RDD的宽依赖(即为一对多的算子，一对一的算子产生的依赖为窄依赖)来划分的，例如：reducebykey、groupbykey……
本质上Spark的shuffle与Hadoop十分相似。
MR：首先MR的shuffle，主要是基于磁盘计算，如果数据量过大的话，那么磁盘io就会产生过大，那么此时性能会很低，计算起来速度很慢，并且MR的shuffle计算默认是需要进行分组排序，那么此时数据量很大，那么进行分组排序的时候，每个数据都要分到相同的分区，并且还要排序，资源大大消耗，毫无效率可言。
Spark：spark计算主要是基于内存，当内存写满，才会写到磁盘，这样速度很快，并且sparkshuffle的操作可以不进行排序操作，这里可以设置，利用hashshuffle，和consolidation机制，而且shuffle计算可以迭代计算，通过这种设置，可以大大提高性能，并且缩短计算时间。