Hadoop 3.x集群搭建教程【图文】
目录
一、配置服务器
1.1 .nat模式下的dhcp自动配ip
首先输入
vi /ect/sysconfig/network-s进入其实，将ONBOOT=no改成NONBOOT=yes
再按Esc输入：wq保存退出
重启网络：
service network restartPing一下，测试一下网络是否通了
输入ip add查看ip地址（可知主节点IP：192.168.48.128，两个从节点分别为192.168.48.129 192.168.48.130）
配置主节点名（192.168.48.128）
vi /etc/sysconfig/network添加内容：
NETWORKING=yes
HOSTNAME=master简要说明：
配置两台子节点名(192.168.48.129)和(192.168.48.130)
vi /etc/sysconfig/network添加内容：
NETWORKING=yes
HOSTNAME=slaver1
vi /etc/sysconfig/network添加内容：
NETWORKING=yes
HOSTNAME=slaver21.2 配置hosts
打开主节点的hosts文件，要将文件的前两行注释掉 (注释当前主机的信息)并在文件中添加所有hadoop集群的主机信息。
vi /etc/hosts192.168.48.128 master
192.168.48.129 slaver1
192.168.48.130 slaver2保存之后，将主节点的hosts分别拷贝到其他两个子节点
scp /etc/hosts [email protected]:/etc/scp /etc/hosts [email protected]:/etc/（下边的生效命令不需要执行也可以，但名字显示不出来，最好重启或者使用命令）
然后分别执行(重启服务器也可以不执行下面的语句):
reboot二、 配置ssh无密码访问
2.1 生成公钥**对
在每个节点上分别执行：
ssh-****** -t rsa一直按回车直到生成结束
执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub
其中前者为私钥，后者为公钥
在主节点上执行(在.ssh目录里)：
cp id_rsa.pub authorized_keys2.2 将子节点的公钥拷贝到主节点并添加进authorized_keys
将两个子节点的公钥拷贝到主节点上，分别在两个子节点上执行：
scp ~/.ssh/ id_rsa.pub [email protected]:/~/.ssh/id_rsa_slaver1.pub(~进入到root目录，/~/.ssh可能报错找不到目录，可以写成/root/.ssh)
Scp ~/.ssh/ id_rsa.pub [email protected]:/~/.ssh/id_rsa_slaver2.pub然后在主节点上，将拷贝过来的两个公钥合并到authorized_keys文件中去
主节点上执行：
cat id_rsa_slaver1.pub>> authorized_keyscat id_rsa_slaver2.pub>> authorized_keys2.3 最后测试是否配置成功
在master上分别执行
ssh slaver1ssh slaver2能正确跳转到两台子节点的操作界面即可，
输入exit退出
这里的配置方式可以有多种操作步骤，最终目的是每个节点上的/root/.ssh/authorized_keys文件中都包含所有的节点生成的公钥内容。
2.4 将主节点的authorized_keys文件分别替换子节点的authorized_keys文件
同样在每个子节点通过相同的方式登录主节点和其他子节点也能无密码正常登录就表示配置成功。
主节点上用scp命令将authorized_keys文件拷贝到子节点的相应位置
scp authorized_keys [email protected]:/root/.ssh/
scp authorized_keys [email protected]:/root/.ssh/
三、安装jdk
3.1卸载jdk
查看系统已经装的jdk：
rpm -qa|grep jdk卸载jdk:
rpm -e：卸载rpm包
Nodeps：强制卸载
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.191-2.6.15.5.el7.x86_643.2安装JDK（三台机器都要安装）
安装在同一位置/opt/java/jdk1.7.0_72
下载JDK
解压JDK ：
tar -zxvf /opt/java/jdk-8u201-linux-x64.tar.gz配置环境变量, 编辑profile文件：
vi /etc/profile在profile文件末尾添加以下代码:
export JAVA_HOME=/opt/java/jdk1.8.0_201
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
保存后，使刚才编辑的文件生效：
source /etc/profile3.3测试是否安装成功：
java –version
四、安装hadoop
在master主机上安装hadoop
安装位置自定，例如安装在/usr目录下面
下载hadoop包，放在/usr目录下，解压hadoop
tar -zxvf /opt/hadoop/hadoop-3.2.0.tar.gz在usr下面生成hadoop-2.6.4目录
配置环境变量：
vi /etc/profile在末尾添加：
export HADOOP_HOME=/usr/hadoop-3.2.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存后使新编辑的profile生效：
source /etc/profile五、配置hadoop
5.1 配置hadoop配置文件
需要配置的文件的位置为/hadoop-2.6.4/etc/hadoop，需要修改的有以下几个
hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
slaves
其中
hadoop-env.sh和yarn-env.sh里面都要添加jdk的环境变量：
5.1.1 hadoop-env.sh中
# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
# export JAVA_HOME=
export JAVA_HOME=/opt/java/jdk1.8.0_201
# Location of Hadoop. By default, Hadoop will attempt to determine
# this location based upon its execution path.
# export HADOOP_HOME=
export HADOOP_HOME=/usr/hadoop-3.2.0
# Location of Hadoop's configuration information. i.e., where this
# file is living. If this is not defined, Hadoop will attempt to
# locate it based upon its execution path.
#
5.1.2 core-site.xml中
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/temp</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
5.1.3 hdfs-site.xml中
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.web.ugi</name>
<value> supergroup</value>
</property>
</configuration>
5.1.4 yarn-site.xml中
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
5.1.5 mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
5.1.6 workers中
master
slaver1
slaver2
5.2 拷贝hadoop安装文件到子节点
主节点上执行：
scp -r /usr/hadoop-3.2.0 [email protected]:/usrscp -r /usr/hadoop-3.2.0 [email protected]:/usr拷贝profile到子节点
主节点上执行：
scp /etc/profile [email protected]:/etc/scp /etc/profile [email protected]:/etc/在两个子节点上分别使新的profile生效：
source /etc/profile5.3 格式化主节点的namenode
主节点上进入hadoop目录
然后执行：
./bin/hdfs namenode –format提示：successfully formatted表示格式化成功
5.4 启动hadoop
主节点上在hadoop目录下执行：
./sbin/start-all.sh主节点上jps进程有：
NameNode
SecondaryNameNode
ResourceManager
每个子节点上的jps进程有：
DataNode
NodeManager
如果这样表示hadoop集群配置成功