MapReduce实验错误总结
运行过程中遇到的问题:
1.
原因:没有指明主类,所以会出现找不到主类的异常。
解决方法:
(1)在打包程序时,选择相应的主类,这样的话,这边即可以不用写主类,即使用上面的命令即可运行程序。
(2)如果在打包时没有指定主类,则需要在运行程序时指明主类(MRJoin.MRJoin),这样就不会出现找不到主类的异常了。
2.
问题:发现出现输出文件路径存在的错误(上图箭头所指)
解决方法:删除输出路径,继续运行。
删除输出路径:
[[email protected] ~]# hdfs dfs -rm -r /usr/MRJoin/out
或者使用 [[email protected] ~]# hadoop fs -rm -r -skipTrash /data/m2_3.txt也可以。
3.
问题原因:在运行时出现了上述的版本不支持的问题,可以看出是由于java环境问题造成的,即为jdk版本不一致。
解决方法:修改项目的jdk版本:
4.
还遇到过一种就是输入文件的路径错误的问题,这个需要查看代码有没有设置固定的路径,有的话改为自己想要设置的路径;其次如果代码中没有特别设定,则可能是输入时出错了,认真查看原因即可。