大数据

HDFS存在的问题

​ •NameNode单点故障，难以应用于在线场景 HA

​ •NameNode压力过大，且内存受限，影扩展性 F

解决单点故障

​ •HDFS HA：通过主备NameNode解决

​ •如果主NameNode发生故障，则切换到备NameNode上

MapReduce存在的问题响系统

​ •JobTracker访问压力大，影响系统扩展性

​ •难以支持除MapReduce之外的计算框架，比如Spark、Storm等

解决内存受限问题

​ •HDFS Federation(联邦)

​ •水平扩展，支持多个NameNode；

​ •（2）每个NameNode分管一部分目录；

​ •（1）所有NameNode共享所有DataNode存储资源

HA模式

当分配主从NN时，2个NN和2个zkfc同时去zk集群中争抢一个锁，由两个zkfc同时去

zk特征： 目录树的数据结构 事件 session

考虑2种情况

​ 主NN故障，由主zkfc删掉zk中的节点，此时再由zkfc回调当时zk节点中的注册方法，将从NN升级为主NN

–事件传导的过程

​ 主zkfc故障，与zk链接断开并由zk创建session，一定时间没有回来，由zk删掉节点，将原主NN降为从NN，将原从NN升为主NN

整合ZK-联邦机制

HA配置过程（手动）

​ 1逻辑到物理的映射 NS到物理节点

​ 2 JN相关物理信息

​ 3 发生故障的切换方法和免秘钥的切换方法