hadoop统计单词数量小案例
在以上几篇文章中我们已经搭建好了单机版的hadoop环境,下面我们就来运行一下hadoop 官网上的demo。统计一个文件夹中的xml文件中单词书此案的频率。
首先我们将文件copy到某个目录里面,
这就是我们要统计的文件。
然后再通过hadoop执行 jar命令。
hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /home/chenzhu/test/ /home/chenzhu/testoutput
其中 wordcount是 hadoop-mapreduce-examples-2.7.3.jar提供的方法 ,/home/chenzhu/test/ 是文件的开始目录,
/home/chenzhu/testoutput是文件输出目录,但是不能提前创建好,切记注意。
执行命令后我们就可以看到
文件中 有两个文件 一个success 一个part文件 ,success表示成功
part表示结果输出。
查看一下就能看到每个单词出现的频率了。