2.1.1 Combiner
-
1.Combiner是MR程序中Mapper和Reduce之外的一种组件
-
2.Combiner组件的父类就是Reducer
-
3.Combiner和Reducer之间的区别在于运行的位置
-
4.Reducer是每一个接收全局的Map Task 所输出的结果
-
5.Combiner是在MapTask的节点中运行
-
6.每一个map都会产生大量的本地输出，Combiner的作用就是对map输出的结果先做一次合并，以较少的map和reduce节点中的数据传输量
-
7.Combiner的存在就是提高当前网络IO传输的性能，也是MapReduce的一种优化手段。