大数据之五 hadoop HDFS HA集群客户端+eclipse配置

搭建好HDFS HA集群后,我们来配置客户端,用来操作HDFS HA集群
搭建HDFS HA集群参看 大数据之四 hadoop HDFS HA 高可用的完全分布式

  1. 首先我们选择一台客户机,任意选择,只要能与集群通信即可,这里就使用真机
  2. 将集群中配置好的 hadoop 安装包拷贝到真机上
  3. 配置 hadoop 的环境变量
    HADOOP_HOME:hadoop安装包的位置
    HADOOP_USER_NAME:登录集群的用户名称,只要是可以登录集群的用户名就可以,这里配置为root
    大数据之五 hadoop HDFS HA集群客户端+eclipse配置
    大数据之五 hadoop HDFS HA集群客户端+eclipse配置
  4. 将hadoop的插件放到eclipse的dropins\plugins\ 目录下,如果没有 plugins目录则手动创建。插件可到github下载对应版本。
    如果是按照大数据之四 hadoop HDFS HA 高可用的完全分布式搭建的集群环境,则插件使用 2.6.0 版本大数据之五 hadoop HDFS HA集群客户端+eclipse配置
    Github地址:https://github.com/winghc/hadoop2x-eclipse-plugin
  5. 启动eclipse,点击菜单栏的window–>Preferences 进入Preferences选项窗口,此时会有一个Hadoop Map/Reduce,点击如下图,选择hadoop安装包的位置,点击Apply–>OK
    大数据之五 hadoop HDFS HA集群客户端+eclipse配置
  6. 点击菜单栏的window–>Show View–>other进入Show View 窗口如下。在搜索栏输入Map/Reduce,选中黄色小象Map/Reduce Location,点击OK
    大数据之五 hadoop HDFS HA集群客户端+eclipse配置
  7. 此时下方控制台窗口便会出现Map/Reduce Location的窗口,在空白处右击,选择 New Hadoop location
    大数据之五 hadoop HDFS HA集群客户端+eclipse配置
  8. 按下图进行配置,点击finish
    大数据之五 hadoop HDFS HA集群客户端+eclipse配置
  9. 配置完成,project窗口中显示如下,连接成功
    大数据之五 hadoop HDFS HA集群客户端+eclipse配置
  10. 如果要在项目中操作HDFS集群,则需要导入依赖jar包。
    将hadoop安装包中share\hadoop目录下 common,hdfs,tools三个文件夹中的jar包及其下lib文件夹中的jar包整合并导入项目。
    大数据之五 hadoop HDFS HA集群客户端+eclipse配置
    大数据之五 hadoop HDFS HA集群客户端+eclipse配置
  11. 将加入的jar包加入classpath,通过build path。然后就可以在项目中操作HDFS集群了
    大数据之五 hadoop HDFS HA集群客户端+eclipse配置