一.Reduce工作流程图

二.MR整体执行流程（Yarn模式）

1.在MapReduce程序读取文件的输入目录上存放相应的文件。
2.客户端程序在submit（）方法执行前，获取待处理的数据信息，然后根据集群中的参数的配置形成一个任务分配规划。
3.客户端提交切片信息给yarn，yarn中的resourcemanager启动MRappmaster。
4.MRAPPmaster启动后根据本次job的描述信息，计算出需要的maptask对象，然后向集群申请机器启动相应数量的maptask进程。
5.Maptask利用客户端指定的inputformat来读取数据，形成输出的KV键值对。
6.Maptask将输入kv键值对传递给客户的map（）方法，做逻辑运算。
7.Map（）方法运算完毕后将kv收集到maptask缓存。
8.shuffle阶段
（1）maptask收集我们的map（）方法输出的kv对，放到环形缓冲区。
（2）maptask中的kv对按照k分区排序，并不断溢写到本地磁盘文件，可能会溢出多个文件。
（3）多个文件会被合并成答的溢出文件
（4）在溢写过程中，即合并过程中，都会不停的进行分区和针对key的排序操作
（5）reducetask根据自己的分区号，去各个maptask机器上获取相应的结果分区数据
（6）reducetask会取到同一个分区来自不同maptask的结果文件，reducetask会将这些文件再进行归并排序
（7）合并大文件后，shuffle的过程也就结束的，后面进入reducetask逻辑运算过程（从文件取出一个一个的键值对group，调用用户自定义的reduce（）方法）
9.MRAPPMaster监控到所有maptask进程任务完成后，会根据客户指定的参数启动相应数量的reducetask进程，并告知reducetask进程要处理的数据分区
10.reducetask进程启动后，会根据MRAPPmaster告知的待处理数据所在位置，从若干台maptask运行所在机器上获取若干maptask结果输出文件，并在本地进行重新归并排序，然后按照相同的key的kv为一个组，调用客户定义的reduce（）方法进行逻辑运算
11.reducetask运算完毕后，调用客户指定的outputformat将结果数据输出到外部。