Hadoop2.X的安装与配置(二)本地模式

     在上一篇文章中,我们介绍了Hadoop2.X安装与配置前的准备阶段。

     在本地模式配置前,首先完成准备阶段。

     点击如下链接,进入准备阶段的配置

https://blog.csdn.net/weixin_38187469/article/details/79765876


本地模式的配置需要在如下的配置文件中添加配置参数

Hadoop2.X的安装与配置(二)本地模式

    使用vi编辑器修改hadoop-env.sh配置文件

Hadoop2.X的安装与配置(二)本地模式

    :set number打开行号,在hadoop-env.sh配置文件中添加如下语句

Hadoop2.X的安装与配置(二)本地模式

    :wq保存退出后,本地模式就配置完成了。

     注:这里JAVA_HOME所在位置根据自己jdk所在位置进行修改


    下面我们在本地模式下测试一下MapReduce程序

    1、命令:cd training/hadoop-2.7.3/share/hadoop/mapreduce        进入到MapReduce的示例所在的目录

          如下所示,hadoop-mapreduce-examples-2.7.3.jar就是示例的jar包

Hadoop2.X的安装与配置(二)本地模式

    2、命令:hadoop jar hadoop-mapreduce-example-2.7.1.jar        查看这个示例jar包下有哪些例子

         这里使用wordcount作为例子执行

Hadoop2.X的安装与配置(二)本地模式

    3、准备数据源

         使用vi编辑器创建一个文件,在此文件中输入一些单词作为数据源

Hadoop2.X的安装与配置(二)本地模式

Hadoop2.X的安装与配置(二)本地模式

    命令:hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount ~/tmp/data.txt ~/tmp/wordCount

            参数:  ~/tmp/data.txt        表示输入数据

           参数: ~/tmp/wordCount   表示输出数据保存位置

Hadoop2.X的安装与配置(二)本地模式

    查看打印的日志,出现如下语句说明MapReduce程序执行完成

Hadoop2.X的安装与配置(二)本地模式

    进入输出数据保存的目录,查看MapReduce的wordcount程序运行的结果

Hadoop2.X的安装与配置(二)本地模式

    到这里本地模式的配置与测试MapReduce程序就完毕了Hadoop2.X的安装与配置(二)本地模式


版权声明:本文为博主原创文章,未经博主允许不得转载。

https://blog.csdn.net/weixin_38187469/article/details/79965847