MyeclipseC12016连接HDFS

myeclipseC12016连接HDFS


获取jar包

将hadoop-eclipse-plugin-2.6.0.jar置于 myeclipse的plugins下,(后来发现myeclipse Window/preference/ 中未显示 Hadoop Map/Reduce该选项,又将该jar包置于dropins 一份,终于出现该选项了。)

MyeclipseC12016连接HDFS

MyeclipseC12016连接HDFS

指定Hadoop installation directory的位置。 (即和安装在虚拟机中hadoop版本一致的 本地的hadoop的解压包 …/hadoop/bin),在计算机环境变量中配置 HADOOP_HOME = …./hadoop/bin

下载 hadoop-common-2.2.0-bin-master的文件

只需要其中的winutils.exe文件,并将该文件置于 …../hadoop/bin/目录下,程序建立连接的时候需要使用,否则会报 Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

  • 见图
    MyeclipseC12016连接HDFS
  • 使用FileSystem需要注意一下
    MyeclipseC12016连接HDFS

    • 列: url = hdfs://192.168.5.169:9000/

系统会先在系统变量中寻找 HADOOP_USER_NAME的值,(即:计算机系统变量中获得) 若未找到,即读取System.getProperty(“HADOOP_USER_NAME”);
将读取的hadoop_user,设置到系统 的全局变量中。
这里设置下
System.setProperty(“HADOOP_USER_NAME”,hadoop_user);
hadoop_user未配置文件中所设

MyeclipseC12016连接HDFS