hadoop集群搭建四 hadoop高可用集群的安装

hadoop集群搭建四 hadoop高可用集群的安装

实验需要的 .xml文件模板在下载区可下载
一、实验准备

二、Hadoop基本安装配置
该项操作均在集群用户admin下进行，只在一台主机上进行操作其他的主机进行同步安装与步骤
#mkdir ~/hadoop

#cd hadoop
#tar -xzf ~/setups/hadoop-2.7.3.tar.gz

配置hadoop相关变量
#vi ~/.bash_profile
在文件末尾添加
#hadoop environment
HADOOP_HOME=/home/admin/hadoop/hadoop-2.7.3
PATH= $ HADOOP_HOME/bin:$ HADOOP_HOME/sbin:$PATH
export HADOOP_HOME PATH

使环境变量立即生效
#source /.bash_profile
查看是否配置成功
#echo $HADOOP_HOME
#echo $PATH

三、Hadoop高可用完全分布模式配置
#cd ~hadoop
#mkdir tmp name data journal

进入hadoop配置文件所在位置修改配置文件
#cd ~/hadoop/hadoop-2.7.3/etc/hadoop

#vi hadoop-env.sh
找到下列代码取消注释，注意顶格，具体添加以本机jdk路径为准

#vi core-site.xml
添加下列内容

#vi hdfs-site.xml
添加下列内容

拷贝配置文件
#cp mapred-site.xml.template mapred-site.xml

#vi mapred-site.xml
添加一下内容

#vi yarn-env.sh
找到下列代码取消注释，注意顶格，具体添加以本机jdk路径为准

#vi yarn-site.xml

#vi slaves
将原文件中的locahost改为下列内容

备注:如果你要把主节点和主节点备用节点同时作为数据节点使用，也是可以的，这里加上01和02即可。后面配置要一致。
四、同步安装和配置
该项的所有操作步骤使用专门用于集群的用户admin进行。
将“hadoop”目录和‘.bash_ profile" 文件发给集群中所有主机，发送目标用户为集群专用用户admin,发送目标路径为“/home/admin”，即集群专用用户admin的家目录。


注意将文件发送过去之后，必须先使配置文件生效
#source /.bash_profile
查看是否配置成功
#echo $HADOOP_HOME
#echo $PATH
#hadoop version

五、Hadoop高可用完全分布模式格式化和启动
注意本节格式化操作不可多次执行，多次执行可能导致id不一致

在所有同步通信节点的主机执行，启动同步通信服务，然后使用命令“jps"查看Java进程信息，若有名为“JournalNode"的进程，则表示同步通信节点启动成功。本操作只在第-一次安装时执行。安装完成后，以及关机重启服务
器后不需要再次执行。
在主节点执行
#hadoop namenode -format

格式化完成后将“hadoop"目录下的“name"目录发给集群中所有备用主节点的主机，发送目标用户为集群专用用户admin,即当前与登录用户同名的用户，发送目标路径为“home/admin/hadoop" ，即集群专用用户admin家目录下的Hadoop相关文件的目录。
#scp -r ~/hadoop/name [email protected]:/home/admin/hadoop
查看集群zookeeper服务之前先将每台主机的zookeeper服务启动后查看
#zkServer.sh start
#zkServer.sh status

由图可知leader为一号主机，在上次实验中leader为三号主机。说明leader并不是一成不变的。
在主节点使用命令,对Hadoop集群在Zookeeper中的主节点切换控制信息进行格式化，若格式化过程中没有报错则表示格式化成功。格式化之前确保集
群中各主机Zookeeper开启。
注:本操作只在第-一次安装时执行。安装完成后，以及关机重启服务器
后不需要再次执行。不要重复格式化。
#hdfs zkfc -formaZK

在所有同步通信节点的主机，使用此命令，关闭同步通信服务。
注:本操作只在第一次安装时执行。安装完成后，以及关机重启服务器后不需要再次执行.
#hadoop-daemon.sh stop journode
在主节点启动hadoop
#start-all.sh

在备用主节点启动yarn
#yarn-daemon.sh start resourcemanager

在主节点使用命令“jps’”查看Java进程信息，若有名为“NameNode"、“ ResourceManager”、“DFSZKFailoverController"的三个进程，则表示Hadoop集群的主节点启动成功。

由图可知，主节点与备用节点的进程信息服务相同。
使用命令“ssh目标主机名或IP地址”远程登录到所有数据节点主机，使用命令“jps" 查看Java进程信息，若有名为“DataNode"、“NodeManager"、“ JournalNode"的三个进程，则表示Hadoop集群的数据节点启动成功。
ssh远程登录时不需要密码

由图可知，所有数据节点主机的进程信息服务相同。
六、Hadoop高可用完全分布模式验证
在hadoop中创建当前登录用户自己的目录
#hadoop fs -mkdir -p /user/admin
#hadoop fs -ls -R /

#cd ~/hadoop/hadoop-2.7.3/share/hadoop/mapreduce
#hadoop jar hadoop-mapreduce-examples-2.7.3.jar pi 2 1000

在每次实验后注意实验备份

关机时可以选择ssh远程关机

（1）在利用CRT进行虚拟机连接时发现无法连接。解决方案：关闭所有主机重新还原虚拟机网络编辑器中的NAT模式，重新设置后，在windows10中添加VM8ip地址并验证与虚拟机通信正常后，在虚拟机中检查是否相互通信正常。
（2）在关机时可以利用一台主机关闭所有虚拟机。利用ssh命令。在实验配置时可以高效通过ssh、scp命令进行配置，简化实验配置过程。

总结：
通过本次实验使我深刻理解了虚拟机外网和内网的区别，外网正常通信可以保证在线下载软件包正常，而内网通信正常则可以保证XFTP与CRT连接正常。
在本节知识学习中使我更清晰认识到完全分布模式的工作原理、组成。Hadoop的集群有两大类角色: Master和Slave。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的DataNode管理存储的数据。HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce 在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用。
学会了在遇到问题时通过提示及已做过的实验自己解决问题，并帮助同学排错的过程中，熟练掌握了如何有效通过查看日志文件找出配置错误。