hadoop统计单词数量小案例

       在以上几篇文章中我们已经搭建好了单机版的hadoop环境,下面我们就来运行一下hadoop 官网上的demo。统计一个文件夹中的xml文件中单词书此案的频率。

    首先我们将文件copy到某个目录里面,

  hadoop统计单词数量小案例

这就是我们要统计的文件。

然后再通过hadoop执行 jar命令。

 hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount       /home/chenzhu/test/ /home/chenzhu/testoutput

hadoop统计单词数量小案例

其中 wordcount是 hadoop-mapreduce-examples-2.7.3.jar提供的方法 ,/home/chenzhu/test/ 是文件的开始目录,

/home/chenzhu/testoutput是文件输出目录,但是不能提前创建好,切记注意


执行命令后我们就可以看到

hadoop统计单词数量小案例

文件中 有两个文件 一个success 一个part文件 ,success表示成功

part表示结果输出。

hadoop统计单词数量小案例

查看一下就能看到每个单词出现的频率了。