您的位置: 首页 > 文章 > wordcount程序整体运行流程示意图

wordcount程序整体运行流程示意图

分类: 文章 • 2025-02-09 10:40:11

wordcount程序整体运行流程示意图

map阶段：将每一行文本数据变成<单词,1>这样的kv数据

reduce阶段：将相同单词的一组kv数据进行聚合：累加所有的v

注意点：mapreduce程序中，

map阶段的进、出数据，

reduce阶段的进、出数据，

类型都应该是实现了HADOOP序列化框架的类型，如：

String对应Text

Integer对应IntWritable

Long对应LongWritable