MR流程总结

maptask的数量由客户机的切片信息决定的

一、在我们提交完MR程序之后，MR程序会先后经历map，reduce阶段，下面我们详细的来解析一下各个阶段：
1、map阶段，在这个阶段主要分如下的几个步骤read，map,collect，溢写，combine阶段
(1)、在read阶段，maptask会调用用户自定义的RecordReader方法，在splitInput中解析出一个个的key-value对
(2)、在map阶段，maptask会接受由前面读取来的数据，然后按照所需的逻辑对数据进行加工处理，形成新的key-value对
(3)、在collect阶段，map在数据处理完成之后会调用OutputCollector.collect()方法把数据写入环形缓冲区中，这个环形缓冲区被分为了两部分，一半是用来存储数据的索引，一半是用来存储数据，在分区中首先是按照分区号进行排序，在分区里面在按照key进行排序，在环形缓冲区中默认的采用的是哈希分区，如果想自定义分区可以重写一个类继承partition在重新分区方法即可。
(4)、溢写阶段，当环形缓冲区中的数据到达整个缓冲区的百分之八十的时候(环形缓冲区默认大小是100M),就会把数据写入本地的临时文件，但是为了提高性能在这儿可以调用combiner首先把数据合并之后再把数据写入零时文件，在环形缓冲区上的数据读写方法时索引存储数据和存储索引占到总大小的百分之八十多的时候，双方在结束的位置同时向开始的位置读取数据，这样循环往复。
(5)、合并阶段,在前面产生的所有的临时文件，maptask采用轮转的方式进行合并，并且在合并之后的分区中进行排序，这样这个map就会产生一个数据的输出文件。

2、reduce阶段主要包括如下的阶段，cpoy阶段，merge阶段，sort阶段，reduce阶段

(1)、copy阶段主要是reducer阶段从远程的map的输出去拷贝数据到本地的内存中，同一个reducer的节点会把不同的map的输出的同一个分区拷贝到本地。
(2)、merge阶段，在开始拷贝数据的时候。reduceTask会启动两个后台线程，合并内存中的数据和磁盘中的数据，防止使用过多的内存和磁盘。
(3)、sort阶段，由于在reduce的数据是按照key进行聚合排序的，但是在map的输出的时候就已经进行排序，所以在这儿只需要简单的归并排序即可
(4)、reduce阶段 ，把已经按照key聚合的数据输出给reducer按照我们的义务逻辑进行处理。

综合描述：
MapTask阶段：
maptask调用textinputformat，生成recordreader，解析出一个个KV键值对，每一个键值对调用一次map方法，业务逻辑处理结果放入OutputCollector输出收集器，放入环形缓冲区（默认100M，其中数据区占80%，20%为保留区），当数据超过80%，指针会指向保留区继续让map写数据，数据区的数据会写入溢出器，并由溢出器进行分区（利用hash）排序（利用快排），maptask会将溢出的无数小文件合并为一个大文件，并且进行排序使其在同一个分区内有序（归并排序）。
ReduceTask阶段：
当有一个maptask完成后，ReduceTask就会被主管启动，会将mapTask生成的大文件的同一个分区拷贝到一起，进行聚合排序，ReduceTask会读取第一个key，传给reduce方法，同时传入一个value迭代器，迭代器的hasnext会判断下一个key是否还是已传入的key，为true则继续迭代，false则完成reduce的内容，结束本次reduce的调用，最后把新得到的数据交给outputFormat和recordWriter导出。

maptask调用组件：
inputFormat
recordReader
Mapper
OutputCollector
Spiller
Merge