YARN 上运行 MapReduce 程序

1  首先配置yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

2 配置 yarn-site.xml
 

<!-- reducer 获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop101</value>
</property>

3 配置 mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

4  对 mapred-site.xml.template 重新命名为   mapred-site.xml 并配置如下：

<!-- 指定 mr 运行在 yarn 上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

5 启动集群

6 浏览器打开 http://192.168.43.101:8088/cluster/apps 

7 运行mapreduce程序

 

8  查看运行结果

 

注意： 该案例需要配合Namenode Datanode一起使用，Yarn只负责资源调度等。