windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3

一、安装环境

注:作者这里的环境准备是按顺序的,如果你看到自己在那里没有安装,就可以按作者的环境准备步骤接着安装就好了,各种压缩包如果没有,可以去官网下载,也可以找作者要

1.VMware15.5 以及里面有装有CentOs系统的虚拟机
没有安装的可以参考文章VMware15安装虚拟机centos7
2.虚拟机里的Hadoop配置完毕(sh start-all.sh可以启动Hadoop)
没有配置好的的可以参考文章Hadoop单机模式用MobaXterm环境
3.windows下的java环境具备
没有下载配置好的可以参考Java1.8安装详细教程
作者用的是jdk-8u162-windows-x64.exe和CentOs里面的版本是一样的,不过作者也不知道不一样会出错吗,如果以后出现这个问题会补充到这篇博客[微笑]
4.windows下安装好eclipse
作者用的是eclipse-SDK-4.7.3-win32-x86_64.zip压缩包解压的
5.windows下安装好Hadoop(和java一样,作者从网上看到有人说要和CentOs里的版本相同,不一样会怎样出错作者也不太了解)作者使用的是hadoop-2.7.3.tar.gz压缩包解压的
有hadoop-common-2.7.3-bin-master这个插件包
有hadoop-eclipse-plugin-2.7.3.jar这个插件

二、步骤

1.安装插件

(1) 将hadoop-eclipse-plugin-2.7.3.jar复制到eclipse的dropins目录下

windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3

(2) 将插件包里的hadoop.dll和winutils.exe复制到你hadoop解压后的bin目录下

windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3

(3) 将hadoop.dll文件复制到C:\Windows\System32目录下

windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3

2.插件的配置与使用

(1)设置hadoop安装目录

打开eclipse
windows->Preferenences->Hadoop MapReduce->右边填windows下解压的Hadoop的目录->Apply and Close
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3

(2)打开Map/Reduce视图

①windows->Open Perspective->Other->Map/Reduce
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3

②windows->Show views->Other->Map Reduce Tools->Map/Reduce locations
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
最终效果
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3

(2)新建Map/Reduce Location

①新建
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3

②填信息
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
③正常结果
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3

(3)新建Map/Reduce项目

windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
由于我们使用插件,在工程视图会出现一个MapReduce工程模板,不用我们自己导入jar包。我们只需要在src文件夹里新建包和开发java程序。

三、遇到的问题及解决方案

1.解压时出现WinRAR诊断信息错误

错误如下图所示:windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
解决方案:解压文件提示:可能需要以管理身份运行?

2.新建Map/Reduce Location拒绝连接错误

错误如下图所示:
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
解决方案:
①可能是你虚拟机里的hadoop没有启动
查看方法在虚拟机里输入jps
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
上图是查看后启动的
如果没有启动的话启动一下,然后右键刷新一下
启动方法:
刚开始是到你安装的hadoop的sbin目录下,可能和作者不一样
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
刷新:
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
也可以右键DFS Locations->Refresh 刷新一下
②如果①方法解决的话,就可以跳过这一条了
错误原因:虚拟机里core-site.xml文件配置的时候有一条有用到你虚拟机的ip可能你用的是localhost,那里需要你改成你虚拟机的ip

windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
改完之后还要重启你hadoop进程,然后看一下启动了没,在刷新一下Map/Reduce项目
sh stop-all.sh 关掉hadoop
sh start-all.sh 启动hadoop
jps
刚刚的解决方法①里面有一截启动的,不太会的可以看一下

3.连接时一直出现Listing folder content,出现不了hadoop目录

首先保证自己的ip配置正确 ip addr 或 ifconfig查看虚拟机ip
然后检查防火墙的状态
以下命令在root用户下执行
systemctl status firewall 这个命令用来查看防火墙的状态
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
这样就表示你的防火墙启动着呢
systemctl stop firewalld 一次关闭
systemctl disable firewalld 永久关闭
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
刷新一下Map/Reduce项目
windows下eclipse远程连接虚拟机CentOs里的Hadoop-2.7.3
这样的就是连接成功了,可能你的那个文件夹括号里是0,那是因为你的hadoop还没有文件或者目录

补充命令:
systemctl start firewalld 启动防火墙
systemctl enable firewalld 重启防火墙

ps:作者是初学者,如有错误,可以指出哦
如果觉得文章对你有帮助的话,点个赞再走呗٩(๑❛ᴗ❛๑)۶