Yarn的配置
可以通过配置以下Yarn的信息,另外运行ResourceManager守护进程和NodeManager守护进程来进行一个伪分布的MapReduce作业。
1、修改hadoop中etc/hadoop目录下mapred-site.xml文件 ,在<configuration>标签中添加以下配置:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
修改后的配置信息如下图所示:
2、修改hadoop中etc/hadoop/目录下的yarn-site.xml文件,在<configuration>标签中添加以下配置:
节点管理辅助服务,一个以逗号分隔的列表的服务,服务名称只能包含a-za-z0-9_不能以数字开头。
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name> 环境变量白名单
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
3、使用指令sbin/start-yarn.sh,启动ResourceManager和NodeManager守护进程。
4、输入http://192.168.30.130:8088出现如下界面,说明配置启动成功。
5、停止指令sbin/stop-yarn.sh