MapReduce中Combiner后Reduce前的Sort&Merger流程说明
本文用于说明文章《MapReduce作业提交过程及计算流程》(https://blog.****.net/Ahuuua/article/details/105806859)中MR计算流程的第9步。
原文如下:
9.Sort&Merge
sort+merge:对多个Mapper任务的输出,按照不同的分区,通过网络拷贝到不同的Reducer节点上进行处理,将数据按照分区拷贝到不同的Reducer节点之后,对多个Mapper任务的输出再进行排序,合并。例如:在WordCount程序中,若一个Mapper任务输出了<hello,{1,1}>,另外一个Mapper任务的输出为<hello,{1,1,1}>,经过在次合并之后变为<hello,{1,1,1,1,1}>。
输出给Reduce
做了一个辅助示意图如下: