Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 写程序几乎一大半的时间是调试,分布式程序调试的成本更高。 那么分布式的代码程序该如何调试呢?下面我们一起来 MapReduce 代码如何使用 Debug 来调试。

 

  仍然以美国气象站为例子。

MapReduce 的Debug 调试

        这里我们以 Temperature 为例

1、 在Temperature.java里进行改动

  改动地方1 :

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

  改为,

  我们通过数组来传入输入路径和输出路径。

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

 

  改动地方2:

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

改为,

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  2 、开启hadoop集群启动和链接

  3 、在Temperature.java里的Map函数中打入断点,以及在Reducer函数中打入断点。

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  4、右键,debug as   ->   1 Java  Application  ,来进行断点调试

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  5、出现以下界面

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

首先在Map函数里

  6、查看key 、value 。知识点(系统键+Prt Sc Sys Rq进行抓图)

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  7、按F6,然后查看temperature值

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  8、按F6,查看weatherStationId 和 temperature

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  9 、点击

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  10 、再次查看key和value

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  11、按F6,查看temperature

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  12 、按F6,查看weatherStationId

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  13 、将Map中的断点放开,下面到Reducer

  再到Reducer函数里

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  14 、Reducer中去,查看key和value

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  15、按下F6,查看sum

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  16 、然后,自己可以加断点,也可以放开断点,按F6往下走。

  最后,全部放开,各部分调试都没问题,

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  17、返回界面

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

 

  18 查看

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

  即表明,03103气象站的平均气温是82.

其实 程序进入debug调试后,后续的调试步骤跟 Eclipse 调试 java程序是一样的,这里就不再赘述。

 

 


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5078045.html,如需转载请自行联系原作者