在Eclipse上安装Hadoop插件
要在宿主机电脑的Eclipse上访问、操作Hadoop,必须要做的操作:
1、在Eclipse中安装对应的插件
2、在Eclipse中配置Hadoop
3、在Windows中配置Hadoop环境变量
1、在Eclipse中安装Hadoop对应版本插件
在扩展包中找到对应Hadoop插件(hadoop-eclipse-plugin-2.6.5.jar),将该文件拷贝到Eclipse安装目录下的plugins目录下即可,重启Eclipse。
2、在Eclipse中配置Hadoop
找到Hadoop安装包(hadoop-2.6.5.tar.gz),
1、解压(注意:不要放在有中文、空格的目录下)
2、在Eclipse中:Windows–>preferences,发现多了Hadoop Map/Reduce选项
3、在Hadoop Map/Reduce选项中指定Hadoop解压后的文件
4、调出map/reduce视图:Windows–>show view–>搜索map
5、新建、配置客户端连接
蓝色大象表示新建Hadoop客户端连接。
配置namenode节点的ip地址及端口。
6、调出project explorer视图,查看HDFS目录结构
Project explorer视图:Windows->show view->搜索project
7、log4j文件导入(可选)
在Eclipse中操作Hadoop时,如果程序报错,在Eclipse中错误显示不明显,可以借助log4j文件来显示程序的执行细节:
在扩展包找到log4j文件,将该文件拷贝到当前项目的src目录下即可。
3、在Windows中配置Hadoop环境变量
在Eclipse中通过代码向HDFS上传、下载文件的时候,可能会报错:
java.io.IOException: (null) entry in command string: null chmod 0644 D:\work
log4j输出为:
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
出现这种错误是因为:
1、没有配置Hadoop环境变量
2、Hadoop安装目录的bin目录下缺少文件
1、配置Hadoop环境变量:(同JDK一样)
将Hadoop安装目录的bin目录下的hadoop.dll文件拷贝到C:\Windows\Ststem32下
2、向Hadoop安装的bin目录下导入文件
在扩展包中找到hadoop-2.6.5_bin_for_win10_64.zip,将该文件里的内容全部拷贝到bin目录下
在bin目录下,找到winutils.exe 运行,如果报错:缺少vcrutime140.dll文件,就到扩展包找到vcruntime140dll_jb51.rar文件,打开找到自己对应系统的版本,拷贝到Hadoop的bin目录下,重新运行winutils.exe文件,会有一个黑窗口一闪而过,重新在Eclipse中运行程序即可。