大数据 MapReduce框架核心思想

什么是计算框架

是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。

MapReduce计算框架

大数据 MapReduce框架核心思想

什么是并行计算框架

一个大的任务拆分成多个小任务,将多个小任务分发到多个节点上。每个节点同时执行计算。

大数据 MapReduce框架核心思想
Hadoop为什么比传统技术方案快

1、分布式存储
2、分布式并行计算
3、节点横向扩展
4、移动程序到数据端
5、多个数据副本

MapReduce核心思想

分而治之,先分后和:将一个大的、复杂的工作或任务,拆分成多个小的任务,并行处理,最终进行合并。

MapReduce由Map和Reduce组成

Map: 将数据进行拆分

Reduce:对数据进行汇总

大数据 MapReduce框架核心思想