1.配置

1.1在当前目录下：

1.2配置yarn-env.sh

执行命令：vim yarn-env.sh
添加如下文本：export JAVA_HOME=/opt/module/jdk1.8.0_144

1.3配置yarn-site.xml

执行如下命令：vim yarn-site.xml
在其中添加：

<!-- reducer获取数据的方式 -->
<property>
 		<name>yarn.nodemanager.aux-services</name>
 		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>

1.4配置：mapred-env.sh

执行命令：vim mapred-env.sh
添加如下文本：export JAVA_HOME=/opt/module/jdk1.8.0_144

1.5配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

先执行命令：mv mapred-site.xml.template mapred-site.xml
再执行命令:vim mapred-site.xml
添加如下文本：

<!-- 指定MR运行在YARN上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

2.启动集群

2.1在当前目录下

2.2确保NameNode和DataNode已经启动

执行命令：jps

2.3启动ResourceManager

执行命令：sbin/yarn-daemon.sh start resourcemanager

2.4启动NodeManager

执行命令：sbin/yarn-daemon.sh start nodemanager

2.5查看启动情况

执行命令：jsp

3.测试

3.1YARN的浏览器页面查看

在浏览器输入：http://[服务器ip地址].101:8088/cluster

3.2如果文件系统上存在output文件则删除

执行命令：bin/hdfs dfs -rm -R /user/lsl/output

3.3执行MapReduce程序

执行命令：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/lsl/input /user/lsl/output

3.4查看运行结果

执行命令：bin/hdfs dfs -cat /user/lsl/output/*

版权声明：本博客为记录本人自学感悟，转载需注明出处！
https://me.****.net/qq_39657909