MapReduce实验错误总结

运行过程中遇到的问题:

1. 

MapReduce实验错误总结

原因:没有指明主类,所以会出现找不到主类的异常。

解决方法:

(1)在打包程序时,选择相应的主类,这样的话,这边即可以不用写主类,即使用上面的命令即可运行程序。

(2)如果在打包时没有指定主类,则需要在运行程序时指明主类(MRJoin.MRJoin),这样就不会出现找不到主类的异常了。

 2.

MapReduce实验错误总结

问题:发现出现输出文件路径存在的错误(上图箭头所指) 

解决方法:删除输出路径,继续运行。

删除输出路径:

[[email protected] ~]# hdfs dfs -rm -r /usr/MRJoin/out

MapReduce实验错误总结

或者使用 [[email protected] ~]# hadoop fs -rm -r -skipTrash /data/m2_3.txt也可以。

3.

MapReduce实验错误总结

问题原因:在运行时出现了上述的版本不支持的问题,可以看出是由于java环境问题造成的,即为jdk版本不一致。

解决方法:修改项目的jdk版本:

MapReduce实验错误总结

4. 

      还遇到过一种就是输入文件的路径错误的问题,这个需要查看代码有没有设置固定的路径,有的话改为自己想要设置的路径;其次如果代码中没有特别设定,则可能是输入时出错了,认真查看原因即可。

学习就是一个不断积累的过程,学到东西,或多或少,以另一种方式将它记录下来。

越努力,越幸运,陌生人,加油吧!!