Hadoop生态圈-高可用集群
Hadoop生态圈-高可用集群
Hadoop生态圈即全部组件 - 原创wnagwei（qq：[email protected]） 转载复制请联系作者，未经允许擅自操作，将追究法律责任
高可用集群自动故障转移工作 机制
1） 故障检测：
故障检测：集群中的每个 NameNode 在 ZooKeeper 中维护了一个持久会话，如果
机器崩溃，ZooKeeper 中的会话将终止，ZooKeeper 通知另一个 NameNode 需要触发故障转
移。
2）现役 NameNode 选择：
现役 NameNode 选择：ZooKeeper 提供了一个简单的机制用于唯一的选择一个节点
为 active 状态。如果目前现役 NameNode 崩溃，另一个节点可能从 ZooKeeper 获得特殊的
排外锁以表明它应该成为现役 NameNode。
ZKFC 是自动故障转移中的另一个新组件，是 ZooKeeper 的客户端，也监视和管理
NameNode 的状态。每个运行 NameNode 的主机也运行了一个 ZKFC 进程，ZKFC 负责：
1）健康监测：ZKFC 使用一个健康检查命令定期地 ping 与之在相同主机的 NameNode，
只要该 NameNode 及时地回复健康状态，ZKFC 认为该节点是健康的。如果该节点崩溃，冻
结或进入不健康状态，健康监测器标识该节点为非健康的。
2 ）ZooKeeper 会话管理：当本地 NameNode 是健康的，ZKFC 保持一个在 ZooKeeper
中打开的会话。如果本地 NameNode 处于 active 状态，ZKFC 也保持一个特殊的 znode 锁，
该锁使用了 ZooKeeper 对短暂节点的支持，如果会话终止，锁节点将自动删除。
3）于 基于 ZooKeeper 的选择：如果本地 NameNode 是健康的，且 ZKFC 发现没有其它的
节点当前持有 znode 锁，它将为自己获取该锁。如果成功，则它已经赢得了选择，并负责运
行故障转移进程以使它的本地 NameNode 为 Active。故障转移进程与前面描述的手动故障转
移相似，首先如果必要保护之前的现役 NameNode，然后本地 NameNode 转换为 Active 状
态。
高可用 集群配置
环境准备
1. 修改 IP
2. 修改主机名及主机名和 IP 地址的映射
3. 关闭防火墙
4. ssh 免密登录
5. 安装 JDK，配置环境变量等
规划
表 3-1
|
master1 |
slave1 |
slave2 |
| NameNode | NameNode |
|
| JournalNode |
JournalNode |
JournalNode |
| DataNode |
DataNode |
DataNode |
|
ZK |
ZK |
ZK |
|
|
ResourceManager |
|
| NodeManager |
NodeManager |
NodeManager |
查看/修改hadoop配置文件：
[[email protected] module]$ vim /opt/module/hadoop-2.6.0/etc/hadoop/core-site.xml [[email protected] module]$ vim /opt/module/hadoop-2.6.0/etc/hadoop/hdfs-site.xml [[email protected] module]$ vim /opt/module/hadoop-2.6.0/etc/hadoop/yarn-site.xml [[email protected] module]$ vim /opt/module/hadoop-2.6.0/etc/hadoop/mapred-site.xml
配置HDFS-HA集群
1. 官方地址：
http://hadoop.apache.org/
2. 创建 ha 文件夹
[[email protected] module]$ mkdir ha
3. 将的 hadoop-2.6.0 拷贝到/ha/ 目录下
[[email protected] module]$ cp -r hadoop-2.6.0/ ha/
4. 重新配置hdfs-site.xml
[[email protected] module]$ vim ha/hadoop-2.6.0/etc/hadoop/hdfs-site.xml
全替换为如下内容：
指定了两个NameNode，和它的rpa的通信地址，以及它的HTTP 50070 web访问地址
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本</description>
</property>
<property>
<name> dfs.nameservices </name>
<value> 总服务 </value>
</property>
<property>
<name> dfs.ha.namenodes.mycluster </name>
<value> nn1,nn2 </value>
<description>NameNode</description>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>master1:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>slave1:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>master1:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>slave1:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>协议://master1:8485;slave1:8485;slave2:8485/总服务名字</value>
<description>协议</description>
</property>
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>代理类/value>
</property>
<property>
<name>dfs.permissions.enable</name>
<value>false</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>隔离机制</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>ssh</value>
<description>ssh</description>
</property>
</configuration>
5、配置文件系统core-site.xml
[[email protected] module]$ vim ha/hadoop-2.6.0/etc/hadoop/core-site.xml
全替换为如下内容：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://前面的总服务名字</value>
<description></description>
</property>
<!-- 指定节点上本地的hadoop运行时产生的临时文件存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>节点上本地的hadoop临时文件夹（前面自己自定义的目录）</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>自定义jn的data数据存储目录</value>
<description></description>
</property>
</configuration>
5、删除data/和logs/目录
因为是新的集群、需要重新格式化NameNode
[[email protected] hadoop-2.6.0]$ rm -rf data/ logs/
6、分发 ha/ 到从机
[[email protected] module]$ xsync ha/
启动 HDFS-HA 高可用集群
1. 在各个 JournalNode 节点上，输入以下命令启动 journalnode 服务
[[email protected] hadoop-2.6.0]$ sbin/hadoop-daemon.sh start journalnode [[email protected] hadoop-2.6.0]$ sbin/hadoop-daemon.sh start journalnode [[email protected] hadoop-2.6.0]$ sbin/hadoop-daemon.sh start journalnode [[email protected] hadoop-2.6.0]$ jps 8176 Jps 8129 JournalNode
2. 查看此时目录下新生成的 logs/
都是 journalnode 启动后的日志文件
[[email protected] hadoop-2.6.0]$ ll logs total 44 -rw-rw-r-- 1 hadoop hadoop 33103 Nov 26 01:40 hadoop-hadoop-journalnode-master1.log -rw-rw-r-- 1 hadoop hadoop 716 Nov 26 01:40 hadoop-hadoop-journalnode-master1.out -rw-rw-r-- 1 hadoop hadoop 2805 Nov 26 01:38 hadoop-hadoop-journalnode-master1.out.1 -rw-rw-r-- 1 hadoop hadoop 0 Nov 26 01:38 SecurityAuth-hadoop.audit
3. 在[nn1]上，对其进行格式化，并启动
[[email protected] hadoop-2.6.0]$ bin/hdfs namenode -format [[email protected] hadoop-2.6.0]$ sbin/hadoop-daemon.sh start namenode [[email protected] hadoop-2.6.0]$ jps 6305 JournalNode 6625 Jps 6547 NameNode
4. 在[nn2]上，同步 nn1 的元数据信息
[[email protected] hadoop-2.6.0]$ bin/hdfs namenode -bootstrapStandby
出现如下反馈信息，则OK！
5. 启动[nn2]的NameNode
[[email protected] hadoop-2.6.0]$ sbin/hadoop-daemon.sh start namenode [[email protected] hadoop-2.6.0]$ jps 8900 Jps 8550 JournalNode 8830 NameNode
6. 查看 web 页面显示，如图所示
访问web网页查看：
master1（nn1）：http://192.168.65.161:50070/
slave1（nn2）：http://192.168.65.162:50070/
7. 在[nn1]上，启动所有 datanode
关系：start 调 hadoop-daemons的群起脚本 ，daemons去调用遍历slaves.sh 调用它们 daemon 命令。
群起（daemons）、单启（daemon）都可以
[[email protected] hadoop-2.6.0]$ sbin/hadoop-daemons.sh start datanode
datanode虽然启动了，但是现在只能看，不能用
8. 将[nn1]切换为 Active
[[email protected] hadoop-2.6.0]$ bin/hdfs haadmin -transitionToActive nn1
**了nn1
9. 查看是否 Active
[[email protected] hadoop-2.6.0]$ bin/hdfs haadmin -getServiceState nn1
配置 HDFS-HA 自动故障转移机制
1. 具体配置
- （1）在 hdfs-site.xml 中增加
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
- （2）在 core-site.xml 文件中增加
<property>
<name>ha.zookeeper.quorum</name>
<value>master1:2181,slave1:2181,slave2:2181</value>
</property>
- （3）分发
[[email protected] hadoop-2.6.0]$ xsync etc/hadoop
2. 启动
- （1）关闭所有 HDFS 服务：
[[email protected] hadoop-2.6.0]$ sbin/stop-dfs.sh
- （2）群起 Zookeeper 集群：
[[email protected] hadoop-2.6.0]$ zk.sh start
- （3）初始化 HA 在 Zookeeper 中状态：
[[email protected] hadoop-2.6.0]$ bin/hdfs zkfc -formatZK
此时在Zk客户端 可以查看到初始化了什么内容（创建了HA节点）
[[email protected] zookeeper-3.4.5]$ bin/zkCli.sh ......... [zk: localhost:2181(CONNECTED) 2] ls / [cluster, ...., zookeeper, hadoop-ha, ....,hbase] [zk: localhost:2181(CONNECTED) 3] ls /hadoop-ha [mycluster] [zk: localhost:2181(CONNECTED) 4] ls /hadoop-ha/mycluster []
- （4）启动 HDFS 服务：
[[email protected] hadoop-2.6.0]$ sbin/start-dfs.sh
查看启动的进程
- （5）在各个 NameNode 节点上启动 DFSZK Failover Controller，先在哪台机器启动，哪
个机器的 NameNode 就是 Active NameNode
[[email protected] hadoop-2.6.0]$ sbin/hadoop-daemin.sh start zkfc
3. 验证
- （1）将 Active NameNode 进程 kill
kill -9 namenode 的进程 id [[email protected] hadoop-2.6.0]$ jps 10535 Jps 10008 DataNode 10201 JournalNode 9514 QuorumPeerMain 10381 DFSZKFailoverController 9902 NameNode [[email protected] hadoop-2.6.0]$ kill -9 9902
PS：此时web端可以看到，master1的页面已经死掉了。而slave1的页面 standby 由变成了 active
此时在启动master1的nodename，那么他就是 standby 因为 slacve1 的锁没掉
[email protected] hadoop-2.6.0]$ sbin/hadoop-daemon.sh start namenode
- （2）将 Active NameNode 机器断开网络（没测试）
service network stop