Hadoop集群配置
环境准备
安装包下载
下载Hadoop集群包(下载路径:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/core/)
此文档编辑使用hadoop-3.1.3.tar.gz
节点环境配置
注:以下配置需要在Hadoop的每一个节点进行配置
- 节点名配置
- 修改/etc/profile
注:修改之后需要刷新配置文件 source /etc/profile - 修改/etc/hosts
- 创建HDFS元数据事务日志存放路径与数据存放路径
此路径可以自己设定
此文档创建的data与log目录为Hadoop解压路径
配置信息修改
注:以下配置需要在每一个节点进行配置
- 修改hadoop-env.sh
设置jdk路径 - 修改core-site.sh
- 修改hdfs-site.sh
- 修改mapred-site.xml
- 修改yarn-site.xml
- 修改work(hadoop3.x系统)或slave(hadoop2.x)
启动Hadoop集群
- 格式化namenode
- 启动集群服务
启动中遇到的问题
- 启动集群遇到如下异常
解决办法:需要在hadoop-env.sh中加入如下配置 - 启动完成之后通过jps查看进程,发现namenode没有启动
解决办法:重新格式化namenode