hadoop的架构模型
hadoop的版本
hadoop的架构模型
1.x架构
- NameNode：集群当中的主节点，管理元数据（文件的大小，文件的位置，文件的权限），主要用于管理集群中的各种数据
- DataNode：集群当中的从节点，主要用于存储集群当中的各种数据
- SecondaryNameNode：主要用于hadoop当中元数据信息的辅助管理（减轻Nomenode的压力）
Hadoop 2.x架构
第一种：NameNode与ResourceManager单节点架构模型
HDFS文件存储系统与1.x相同。
引入了Yarn资源调度系统（MapReduce运行在Yarn系统中）
数据计算核心模块：
ResourceManager：接收用户的计算请求任务，并负责集群的资源分配
NodeManager：负责执行主节点Appmaster分配的任务
而关于Yarn的调度方式如下：
第二种：NameNode单节点与ResourceManager高可用架构模型
与第一种区别：Zookeeper实现NameNode高可用，通过ZKFC管理，增加一个ResourceManager的备份节点。如果主节点宕机，备份节点立刻顶上。