Hadoop2.X的安装与配置(二)本地模式
在上一篇文章中,我们介绍了Hadoop2.X安装与配置前的准备阶段。
在本地模式配置前,首先完成准备阶段。
点击如下链接,进入准备阶段的配置
https://blog.****.net/weixin_38187469/article/details/79765876
本地模式的配置需要在如下的配置文件中添加配置参数
使用vi编辑器修改hadoop-env.sh配置文件
:set number打开行号,在hadoop-env.sh配置文件中添加如下语句
:wq保存退出后,本地模式就配置完成了。
注:这里JAVA_HOME所在位置根据自己jdk所在位置进行修改
下面我们在本地模式下测试一下MapReduce程序
1、命令:cd training/hadoop-2.7.3/share/hadoop/mapreduce 进入到MapReduce的示例所在的目录
如下所示,hadoop-mapreduce-examples-2.7.3.jar就是示例的jar包
2、命令:hadoop jar hadoop-mapreduce-example-2.7.1.jar 查看这个示例jar包下有哪些例子
这里使用wordcount作为例子执行
3、准备数据源
使用vi编辑器创建一个文件,在此文件中输入一些单词作为数据源
命令:hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount ~/tmp/data.txt ~/tmp/wordCount
参数: ~/tmp/data.txt 表示输入数据
参数: ~/tmp/wordCount 表示输出数据保存位置
查看打印的日志,出现如下语句说明MapReduce程序执行完成
进入输出数据保存的目录,查看MapReduce的wordcount程序运行的结果
到这里本地模式的配置与测试MapReduce程序就完毕了
版权声明:本文为博主原创文章,未经博主允许不得转载。
https://blog.****.net/weixin_38187469/article/details/79965847