MapReduce核心思想与并行计算的数据处理流程(动画演示)

MapReduce核心思想

分而治之,先分后合,将一个大的,复杂的工作或任务,拆分成多个小的任务,并行处理,最终进行合并

• mapReduce 由 map 和 reduce 组成
• map: 将数据进行切分
• reduce: 将数据进行汇总

MapReduce并行计算的数据处理流程

偏移量

每个字符移动到当前文档的最前面需要移动的字符个数。