Hadoop-3.2.1集群安装

1.JDK安装（版本需要在1.8以上）

vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_121
输入 java -version 验证是否安装成功

2.修改主机名，配置hosts文件

vi /etc/hosts

我这里用的4台虚拟机搭建hadoop集群,hosts文件每台机器都要拷贝

3.配置ssh免密登录

4.配置防火墙（关闭防火墙）

5.配置hadoop集群的配置文件

5.1配置环境变量

HADOOP_HOME
vi /etc/profile
export HADOOP_HOME=/data1/hadoop-3.2.1
source /etc/profile
让环境变量生效

5.2配置hadoop_env.sh文件

export JAVA_HOME=/usr/local/jdk1.8.0_121

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

export HADOOP_PID_DIR=/data/hadoop/pids
export HADOOP_LOG_DIR=/data/hadoop/logs

5.3配置core-site.xml

可以根据自己的情况配置目录
fs.defaultFS 默认文件系统的名称，以主节点+端口

5.4配置hdfs_site.xml

5.5配置workers 配置datanode数据节点

5.6配置yarn-site.xml

5.7配置mapred_site.xml

5.8远程复制配置好的hadoop到其它服务器

scp -r hadoop-3.2.1 [email protected]:/data1/

5.9格式化NameNode

hdfs namenode -format

6.启动集群

启动hdfs

./start-dfs.sh

启动yarn

./start-yarn.sh

启动日志服务 jobhistoryserver

mapred --daemon start historyserver

查看hdfs WEB

10.10.10.80:50070

查看yarn WEB

10.10.10.80:8088

查看日志服务

10.10.10.80:19888