使用eclipse配置windows本地hadoop环境
使用eclipse配置windows本地hadoop环境,使用的是hadoop-2.8.5
第1步:解压hadoo压缩
在windows下解压缩hadoop压缩包(和Linux下的hadoop版本相同)
第2步:配置eclipse
将hadoop-eclipse-plugin-2.8.5.jar放入eclipse
删除platform.xml文件
遇到的问题和解决方案:
这里保留了以前打开eclipse的信息,没有办法实时更新,删了重打开好让它配置加载hadoop-eclipse-plugin-2.8.5.jar的信息。不这样操作,可能会导致eclipse没有Hadoop Map/Reduce这个选项。
设置本地hadoop路径
增加Map/Reduceg功能区
第3步:建立远程连接
先在Linux下打开hadoop进程
创建并填入连接信息
Host填入的是Linux主机名(可用其ip地址等替代):端口可在mapred-site.xml文件里面的mapreduce.jobtracker.address可查看(若没有,自己配置)
DFS Master端口:可在core-site.xml文件下的fs.defaultFS下查看
遇到的问题和解决方案:
这里发现Host(mapreduce.jobtracker.address)的端口号是local,这是因为没有配置的原因,系统默认为local了,但eclipse又需要使用,可自己配置。(mapred-site.xml—>mapreduce.jobtracker.address)。
查看是否连接成功
配置成功了!!!
(码字不易,有用的话给点积分吧)