查看mapreduce程序每个 map task 或者 reduce task 执行时间
以hadoop2.7.5为例
有一个mapreduce.jobhistory.webapp.address参数,这个参数配置在 mapred-site.xml文件中
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop02:19888</value> //为防止NN的failover,这块应该配置成集群的名字
</property>
配置好后,启动jobserver history服务器 sh $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
在浏览器输入 http://hadoop02:19888 ,就可以看到全部job的执行历史
点击一个job ID,就进入到了这个job的执行详情页,这里就可以看到有几个map task和几个reduce task以及成功失败数量
点击task type的一个类型,就可以看到这类task中所有task的执行时间
再点击name就可以看到这个task是在哪个节点上执行的。
由此就可以定位到job中执行时间最长的task是哪个在哪个节点上执行的