Windows下Eclipse关联Hadoop开发

前言:

    当hadoop的环境搭建好之后,我们就开始开发相关功能

    工具呢,还是使用eclipse

    我们可以直接下载eclipse-Linux版本的直接在虚拟机内部进行开发,关于在Linux中使用eclipse的操作过程读者可参考https://www.cnblogs.com/shishanyuan/p/4178732.html 这篇文章

    笔者直接使用window下的eclipse来关联hadoop进行开发,这时就需要单独配置一些东西

 

准备:

    * STS(也就是spring版本的eclipse)

    * hadoop-eclipse-plugin-2.7.0.jar插件(注意:不同版本的hadoop必须对应版本的插件,读者可自行编译,也可以直接使用别人编译好的,如果有同学需要该版本的插件,可以联系我)

 

工具配置全过程:

    1.将该插件放入ECLIPSE_HOME/plugins下(笔者为STS,则放入STS_HOME\sts-bundle\sts-

3.8.4.RELEASE\plugins下)

    2.重启eclipse

    3.打开Window->Perferences,可以看到Hadoop Map/Reduce界面,

Windows下Eclipse关联Hadoop开发

    指向hadoop的安装目录

 

    4.打开Map/Reduce视图

    打开Window->ShowView,输入map,可以看到如下,选择该视图即可

Windows下Eclipse关联Hadoop开发

    5.新建hadoop_location

    在Map/Reduce的视图中,右键单击,点击new hadoop location
Windows下Eclipse关联Hadoop开发

    * Location name可随意命名

    * Host输入hadoop(注意:该host是在Windows环境下,所以需要在Windows的hosts文件下配置hadoop与ip地址的对应

    * DFS Master的Port即为我们的core-site.xml中FS.default中输入的port

 

    6.验证

    我们看到在Project Explorer中有DFS Locations,逐层打开,可以看到与我们的HDFS文件系统保持一致

Windows下Eclipse关联Hadoop开发

总结:至此,我们的Eclipse关联hadoop过程就结束了,下面我们可以再Windows环境下关联hadoop进行开发了