分布式计算框架mapreduce

分类: 文章 • 2023-11-14 22:32:34

分布式计算框架mapreduce

从wordcount来学习：统计文件中的单词书目

分布式计算框架mapreduce

1.读取 2.拆分 3.读取split中的数据 4.每一行交由map处理 5.结果由partition分区交由对应的reduce处理 6.通过outputformat进行输出写到文件系统上面