大数据-MapReduce中的计数器
1. MapReduce 中的计数器
计数器是收集作业统计信息的有效手段之一，用于质量控制或应用级统计。计数器还可辅 助诊断系统故障。如果需要将日志信息传输到 map 或 reduce 任务， 更好的方法通常是看 能否用一个计数器值来记录某一特定事件的发生。对于大型分布式作业而言，使用计数器 更为方便。除了因为获取计数器值比输出日志更方便，还有根据计数器值统计特定事件的 发生次数要比分析一堆日志文件容易得多。
hadoop内置计数器列表
| MapReduce任务 计数器 | org.apache.hadoop.mapreduce.TaskCounter |
|---|---|
| 文件系统计数器 | org.apache.hadoop.mapreduce.FileSystemCounter |
| FileInputFormat 计数器 | org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter |
| FileOutputFormat 计数器 | org.apache.hadoop.mapreduce.lib.output.FileOutputFormatCounter |
| 作业计数器 | org.apache.hadoop.mapreduce.JobCounter |
每次mapreduce执行完成之后，我们都会看到一些日志记录出来，其中最重要的一些日志 记录如下截图
所有的这些都是MapReduce的计数器的功能，既然MapReduce当中有计数器的功能，我 们如何实现自己的计数器？？？
需求：以上面排序以及序列化为案例，统计map接收到的数据记录条数
第一种方式
第一种方式定义计数器，通过context上下文对象可以获取我们的计数器，进行记录 通过context上下文对象，在map端使用计数器进行统计
运行程序之后就可以看到我们自定义的计数器在map阶段读取了七条数据
第二种方式
通过enum枚举类型来定义计数器
统计reduce端数据的输入的key有多少个，对应的value有多少个