单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结

一、单机版Hadoop-2.7.3+Hbase-1.3.1运行状态

1、linux端进程

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结

2、访问节点:16010

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结

说明节点一切正常。

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结
二、windows10端eclipse配置

1、安装JKD,并配置环境变量。



单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结

2、使用和linux下运行的同版本Hadoop和Hbase,解压,并配置环境变量。



单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结
单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结

3、配置ip映射

如果使用了自定义的主机名,需要在C:\WINDOWS\system32\drivers\etc\hosts文件中进行ip与文件名的映射配置。

不过如果直接用IP来表示位置的话,就不用设置了。
三、eclipse中的配置

1、配置连接hadoop集群


首先需要找到hadoop-eclipse-plugin-X.X.X.jar
X.X.X是版本号。

https://github.com/winghc/hadoop2x-eclipse-plugin
应该都是用的基于hadoop2x-eclipse-plugin,所以可以直接拿来用。

一定要找到对应的版本号的包,否则报错都无从查起。

动手能力强的童鞋可以自己编译,用ant。

最后把这个包拷贝到eclipse/plugin文件夹下。

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结

还有对应版本的hadoop.dll, winutils.exe.

将这两个文件拷贝到%HADOOP_HOME%/bin目录下。



单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结

打开eclipse--》preferences--》Hadoop Map/Reduce


单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结

把刚解压缩的hadoop的根目录加到这里,Apply。

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结
在这里右键--》New Hadoop Location。

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结

把相关信息加进来。Master的host ip和Port,还有DFS的配置都在hadoop的设置文件里,统一就行了。

配置好以后,Project Explorer下回出现

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结




说明配置好。 


接下来就是连接Hbase了。

2、eclipse连接Hbase集群及运行遇到的一个问题


新建项目。

将%HBASE_HOME%/lib下的所有jar包拷贝到项目根目录下(新建一个lib文件夹)。

在项目上右键,build Path--》configure build path--》Add Exteral JARS

把刚才的lib目录下的所有jar包都加进来。

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结


Projec Explorer下面的这个工程后面会出现Referenced Libraies。里面就是lib下的所有包。


一开始我试图新建User libraries,同样是把所有的lib下的包都导进来,运行Hbase程序会报错。


单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结





一直找不出来是什么原因。

最后试着就找出来这个包的原因了。


单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结

更换jar包导入方式以后,就成功了。