hadoop webUI上不能查看log日志输出信息
hadoop webUI上不能查看log日志输出信息
本文由longfeizhou编写,转载请注明出处
- 问题
- 原因
- 报错
- 解决办法
问题
hadoop webUI上查看任务运行输出日志,任务运行中可以正常查看,但当任务完成后却无法查看日志输出
报错
java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn’t belong to this node at all.
原因
疑似原因:程序运行完成之后,日志被转入历史日志服务器中,而历史服务器没有开启
解决方案
1.检查yarn-stie.xml配置中日志输出是否启用
项目 | 属性 |
---|---|
yarn.log-aggregation-enable | true |
yarn.log.server.url | http://bigdata:19888/jobhistory/logs/ |
2.检查 mapred-site.xml 配置中历史服务器配置
项目 | 属性 |
---|---|
mapreduce.jobhisotry.address | bigdata:10020 |
mapreduce.jobhistory.webapp.address | bigdata:19888 |
3.启功历史服务器
sbin/mr-jobhistory-daemon.sh start jobhistoryserver
再次查看webUI中的程序运行日志,一切回归正常!
本文部分资料参考http://m.blog.****.net/article/details?id=50338073博客