了解HDFS知识

了解HDFS

HDFS
Hadoop 由 HDFS Mapreduce 和zookeeper 三个主要核心
下面为大家介绍一下 第一核心 HDFS
HDFS是由一个Namenode ，一个Secondary NamrNode ,若干Datanodes和Client组成 ，采用主从结构，存储的基本单位是块 HDFS上的文件被划分为块大小的多个分块，作为独立的存储单元，称为数据块，默认大小是64MB。

-一. HDFS的三个节点
Namenode，Datanode，Secondary Namenode

Namenode：HDFS的守护进程，用来管理文件系统的命名空间，负责记录文件是如何分割成数据块，以及这些数据块分别被存储到那些数据节点上，它的主要功能是对内存及IO进行集中管理。
Datanode：文件系统的工作节点，根据需要存储和检索数据块，并且定期向namenode发送他们所存储的块的列表。
Secondary Namenode：辅助后台程序，与NameNode进行通信，以便定期保存HDFS元数据的快照。

二、HDFS运行原理
1、NameNode和DataNode节点初始化完成后，采用RPC进行信息交换，采用的机制是心跳机制，即DataNode节点定时向NameNode反馈状态信息，反馈信息如:是否正常、磁盘空间大小、资源消耗情况等信息，以确保NameNode知道DataNode的情况；
2、NameNode会将子节点的相关元数据信息缓存在内存中，对于文件与Block块的信息会通过fsImage和edits文件方式持久化在磁盘上，以确保NameNode知道文件各个块的相关信息；
3、NameNode负责存储fsImage和edits元数据信息，但fsImage和edits元数据文件需要定期进行合并，这时则由SecondNameNode进程对fsImage和edits文件进行定期合并，合并好的文件再交给NameNode存储。

三.HDFS总结
（1）

总体来说 HDFS是Hadoop 一核心模块 而Hadoop 是大数据生态系统的核心 对于我们大数据专业的人来说这是基础中的基础。