hadoop_运行demo
在/opt/hadoop/hadoop-2.6.0/share/hadoop/mapreduce目录下有demo的jar包:
hadoop-mapreduce-examples-2.6.0.jar
查看此jar包中都有哪些例子:
hadoop jar hadoop-mapreduce-examples-2.6.0.jar
其中一个就是wordcount,再看一下它的用法:
hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount
多个输入,一个输出
因此先准备一个文件:
在hdfs中准备好input目录:
hadoop dfs -mkdir /input
hadoop dfs -mkdir /output
将文件拷贝到hdfs中
hadoop dfs -put /opt/hadoop/input/wordcountTestData.txt /input/wordcountTestData.txt
执行任务:
hadoop jar hadoop-mapreduce-examples-2.6.0.jar /input/wordcountTestData.txt /output/wordcountResult-fake-cluster
运行过程中,从页面查看yarn中的状态:
截了四次图,如上,状态从accepted到running到finished,进程条也在变化。
后台日志:
结束后看输出目录:
查看输出内容: