查看mapreduce程序每个 map task 或者 reduce task 执行时间

 

以hadoop2.7.5为例

有一个mapreduce.jobhistory.webapp.address参数,这个参数配置在 mapred-site.xml文件中

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop02:19888</value> //为防止NN的failover,这块应该配置成集群的名字
</property>

配置好后,启动jobserver history服务器 sh $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

在浏览器输入 http://hadoop02:19888 ,就可以看到全部job的执行历史

查看mapreduce程序每个 map task 或者 reduce task 执行时间

点击一个job ID,就进入到了这个job的执行详情页,这里就可以看到有几个map task和几个reduce task以及成功失败数量

查看mapreduce程序每个 map task 或者 reduce task 执行时间

点击task type的一个类型,就可以看到这类task中所有task的执行时间

查看mapreduce程序每个 map task 或者 reduce task 执行时间

再点击name就可以看到这个task是在哪个节点上执行的。

由此就可以定位到job中执行时间最长的task是哪个在哪个节点上执行的