hadoop的eclipse开发环境安装
配置eclipse可视化hadoop环境
1.下载 hadoop-eclipse-plugin-2.7.5.jar 并解压
此文jar包的作用是配置hdfs在eclipse中的文档目录树可视化窗口,作用如下图
把hadoop-eclipse-plugin-2.7.5.jar放入到ECLIPSE_HOME/plugins中
### 我是把hadoop-eclipse-plugin-2.6.5.jar放入到ECLIPSE_HOME/plugins中
2.在window安装hadoop安装包,把hadoop-2.7.5-centos-6.7.tar.gz(基于centos6.7系统中编译的hadoop)解压到win7系统中
3.配置win7的系统环境变量
HADOOP_HOME=C:\myProgram\hadoop-2.7.5
path加入:%HADOOP_HOME%\bin;
4.此时的样子如下,是点不了的
还需要配置参数,在eclipse中按图操作
按图配置即可 ( 因为hadoop集群用root用户安装 所以本人的User name 这里把hadoop 要改成root)
注意自己的namenode和yarn的主节点不同配置会不同 (Map/Reduce(v2) Master 是yarn的主节点 DFS Master是namenode的主节点)
此时显示效果如下图,即为eclipse可视化hadoop配置成功
配置eclipse代码运行环境
win7系统需要加入一些工具包来解决本地依赖库的问题。
下载 hadoop-2.7.4的hadoop.dll和winutils.exe.zip 并解压
1、把hadoop.dll文件放置在 c:/windows/system32/
2、把winutils.exe放置在win7系统下刚才安装的HADOOP_HOME/bin/目录
3、重启eclipse
4、在eclipse中配置HADOOP的安装环境
到此可视化界面和代码运行环境依赖都配置好了!