Windows下的eclipse远程连接Linux下的Hadoop2.7.3

前提条件:

  1. Ubuntu/CentOS系统下安装好hadoop环境
  2. Windows系统下安装好eclipse

步骤:

  1. 下载eclipse连接hadoop所需的文件
    https://pan.baidu.com/s/1FhxQdQ7svCEl8mxw21QzMw
    Windows下的eclipse远程连接Linux下的Hadoop2.7.3

下载的文件夹包含以下文件:
Windows下的eclipse远程连接Linux下的Hadoop2.7.3
上面的使用说明,为这三个文件的使用方法,内容如下:
1)将hadoop-eclipse-plugin-2.7.3.jar文件复制到eclipse的dropins目录下
2) hadoop.dll和winutils.exe要放在windows的Hadoop解压后目录的bin目录下(该目录不要有中文或空格)
如:D:\soft\hadoop-2.7.3\bin
3) 将hadoop.dll文件复制到C:\Windows\System32目录

2.安装插件
2.1 找到Eclipse的安装路径,右键eclipse图标–>属性
Windows下的eclipse远程连接Linux下的Hadoop2.7.3
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

2.2 点击 打开文件所在位置:
Windows下的eclipse远程连接Linux下的Hadoop2.7.3
2.3 进入dropins目录,
Windows下的eclipse远程连接Linux下的Hadoop2.7.3
2.4 将hadoop-eclipse-plugin-2.7.3.jar文件复制到dropins目录下:
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

2.5 重启一下Eclipse,左侧的Project Explorer可以看到DFS Locations, 如图所示:

Windows下的eclipse远程连接Linux下的Hadoop2.7.3

3.下载hadoop安装包到windows目录下,右键–解压到当前文件夹:
Windows下的eclipse远程连接Linux下的Hadoop2.7.3
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

解压得到:
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

将下载的hadoop.dll和winutils.exe文件

Windows下的eclipse远程连接Linux下的Hadoop2.7.3
复制到windows的hadoop-2.7.3/bin目录下,截图如下:
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

4.设置eclipse的hadoop安装目录:
4.1 打开Window–>Preferences,
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

4.2 选择Hadoop Map/Reduc选项,然后点击Browse添加hadoop-2.7.3文件夹进来,点击Apply and Close 如图所示:
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

5.配置Map/ReduceLocations
5.1点击Window–>Show View --> Ohther
Windows下的eclipse远程连接Linux下的Hadoop2.7.3
5.2点击MapReduce Tools,点击Map/Reduce Locations, 点击Open
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

Eclipse下方出现Map/Reduce Locations图标
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

点击右侧大象图标,新建一个Hadoop连接(也可以在Map/Reduce Locations图标下方空白区域,右键New Hadoop location)
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

配置以下信息:
Location name:定义连接名称,可随意填写
Map/Reduce Master:
Host填写hadoop安装所在的Ubuntu ip
Port填写8032
DFS Mastrer:
Host:系统自动与Map/Reduce一致,不用修改
Port填写8020
注意:Host和Port的设置与hadoop的hdfs-site.xml、core-site.xml的设置一致。设置截图如下:
User name:填写与Ubuntu 的用户名一致(也可随意填写)
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

点击Finish后,出现以下连接信息:
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

6.启动Ubuntu下的hadoop
Windows下的eclipse远程连接Linux下的Hadoop2.7.3
jps命令查看有5个hadoop进程已启动。
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

7.找到下载好的hadoop.dll
Windows下的eclipse远程连接Linux下的Hadoop2.7.3
将hadoop.dll文件复制到C:\Windows\System32目录
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

8.重启eclipse(重要,不重启eclipse可能会连接不上hadoop的DFS文件)

9.验证:
点开DFS Locations,点开local,依次点开出现的文件夹,可以看到hdfs的文件
注意:如果hdfs还没有任何文件,请用hdfs put命令上传文件到hdfs, 例如: $ hdfs dfs -put file.txt /
Windows下的eclipse远程连接Linux下的Hadoop2.7.3

双击要查看的文件,右侧出现文件内容,说明windows 的eclipse已经成功连接到我们的Linux系统下的hadoop。
Windows下的eclipse远程连接Linux下的Hadoop2.7.3