Hadoop初学指南(3)--HDFS的体系结构

在前两节分别介绍了hadoop的安装以及HDFS的shell操作，本文紧接着前两文进行介绍

本文主要对HDFS体系结构进行了基本的介绍。所有涉及到的源码都是hadoop-1.1.2的源码。

我们知道在Hadoop安装部署完成之后会有5个进程，分别是NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker。那么这5个进程分别是干什么的呢？本文将对此进行一些说明。

HDFS是由两个核心组件构成的，一个是NameNode,一个是DataNode，NameNode是主节点，DataNode是从节点，主节点只有一个，而从节点可以有多个。

(1)NameNode

是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息(比如权限，副本数，属主属组等)和每个文件对应的数据块列表。接收用户的操作请求。

进入hadoop的安装目录，可以看到下面有一个tmp目录

进入tmp/dfs中，里面的name目录就是存放NameNode的信息的

进入name/current目录后，可以看到里面有4个文件：

其中：

①fsp_w_picpath:元数据镜像文件。存储某一时段NameNode内存元数据信息。如果fsp_w_picpath如果丢了，那么整个HDFS系统就会down掉，因此可以对fsp_w_picpath进行备份。根据这个思路，我们可以使hadoop从多个地方读取这个文件。

进入到hadoop/conf目录中，查看里面的core-site.xml配置文件，可以看到第二项就是配置文件的查找目录的：

同时我们也发现在文件最上方，有一个override的字样，说明这个配置文件也只是重写了其他地方的配置信息。

在源码包的src/hdfs中有一个hdfs-default.xml的源配置文件，其中找到name为dfs.name.dir的配置选项

dfs.name.dir对应的value的前半部分${hadoop.tmp.dir}正是core-site.xml配置文件中的name，在运行时会被解析成其中的value，如果想配置多个读取地址，只需要在主配置文件后加入别的目录，以逗号隔开，如图中的/assss。

②edits:操作日志文件。其中保存的事用户操作的事务性动作。例如我们在操作HDFS中，例如上传或者下载，如果出现网络中断，最后日志不会出现上传成功的记录，那么HDFS会把已经上传的文件删除，用户将不会看到。

③fstime:保存最近一次checkpoint的时间

以上这些文件是保存在linux的文件系统中。

(2)DataNode

提供真实文件数据的存储服务。DataNode存储文件时是按照文件块来存储的。
文件块（block）是最基本的存储单位。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。

hdfs在对数据存储进行block划分时，如果文件大小超过block，那么按照block大小进行划分；不如block size的，划分为一个块，是实际数据大小。

HDFS默认Block大小是64MB，以一个256MB文件，共有256/64=4个Block.在源码src/hdfs/hdfs-default.xml中的dfs.block.size中定义了默认大小：

但不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。
同时HDFS是多复本机制。默认是三个。

(3)SecondaryNameNode

SecondaryNameNode是HA的一个解决方案。但不支持热备。配置即可。
执行过程：从NameNode上下载元数据信息（fsp_w_picpath,edits），然后把二者合并，生成新的fsp_w_picpath，在本地保存，并将其推送到NameNode，同时重置NameNode的edits.因此NameNode中的edits会定期合并到fsp_w_picpath中。

在源码的src/core中有一个core-default.xml文件。其中fs.checkpoint.period和fs.checkpoint.size的配置信息，fs.checkpoint.period表示的是刷新周期，而fs.checkpoint.size表示的事刷新大小，当edits的大小超过fs.checkpoint.size定义的大小，不管有没有到刷新周期，edits都会自动刷新到fsp_w_picpath中，因此fs.checkpoint.size的优先级要高于fs.checkpoint.period。fs.checkpoint.period默认是一小时，而fs.checkpoint.size默认是64M