Hadoop集群配置

环境准备

安装包下载

下载Hadoop集群包(下载路径:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/core/)
此文档编辑使用hadoop-3.1.3.tar.gz

节点环境配置

注:以下配置需要在Hadoop的每一个节点进行配置

  1. 节点名配置
    Hadoop集群配置
  2. 修改/etc/profile
    Hadoop集群配置
    注:修改之后需要刷新配置文件 source /etc/profile
  3. 修改/etc/hosts
    Hadoop集群配置
  4. 创建HDFS元数据事务日志存放路径与数据存放路径
    此路径可以自己设定
    此文档创建的data与log目录为Hadoop解压路径
    Hadoop集群配置

配置信息修改

注:以下配置需要在每一个节点进行配置

  1. 修改hadoop-env.sh
    设置jdk路径
    Hadoop集群配置
  2. 修改core-site.sh
    Hadoop集群配置
  3. 修改hdfs-site.sh
    Hadoop集群配置
  4. 修改mapred-site.xml
    Hadoop集群配置
  5. 修改yarn-site.xml
    Hadoop集群配置
    Hadoop集群配置
  6. 修改work(hadoop3.x系统)或slave(hadoop2.x)
    Hadoop集群配置

启动Hadoop集群

  1. 格式化namenode
    Hadoop集群配置
  2. 启动集群服务
    Hadoop集群配置

启动中遇到的问题

  1. 启动集群遇到如下异常
    Hadoop集群配置
    解决办法:需要在hadoop-env.sh中加入如下配置
    Hadoop集群配置
  2. 启动完成之后通过jps查看进程,发现namenode没有启动
    Hadoop集群配置
    解决办法:重新格式化namenode