Hadoop HDFS概念学习系列之HDFS的体系结构（十七）
如下图所示，HDFS采用Master/Slave架构对文件系统进行管理。一个HDFS集群是由一个NameNode和一定数目的DataNode组成的。NameNode是一个中心服务器，负责管理文件系统的名字空间(Namespace )及客户端对文件的访问。集群中的DataNode一般是一个节点运行一个DataNode进程，负责管理它所在节点上的存储。HDFS展示了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成了一个或多个数据块，这些块存储在一组DataNode上。NameNode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体DataNode节点的映射。DataNode负责处理文件系统客户端的读/写请求。在NameNode的统一调度下进行数据块的创建、删除和复制。
1、副本存放与读取策略
副本的存放是HDFS可靠性和性能的关键，优化的副木存放策略也正是HDFS区分于其他大部分分布式文件系统的重要特性。HDFS采用一种称为机架感知( rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。大型HDFS实例一般运行在跨越多个机架的计算机组成的集群上，不同机架上的两台机器之间的通信需要经过交换机，这样会增加数据传输的成本。在大多数情况下，同一个机架内的两台机器间的带宽会比不同机架的两台机器问的带宽大。
一方面，通过一个机架感知的过程，NameNode可以确定每个DataNode所属的机架ID。日前HDFS采用的策略就是将副本存放在不同的机架上，这样可以有效防止当整个机架失效时数据的丢失，井且允许读数据的时候充分利用多个机架的带宽。这种策略设置可以将副本均匀地分布在集群中，有利于在组件失效情况下的负载均衡。但是，因为这种策略的一个写操作需要传输数据块到多个机架，这增加了写操作的成本。
举例来看，在大多数情况下，副本系数是3 , HnFs的存放策略是将一个副本存放在本地机架的节点上，另一个副本放在同一机架的另一个节点上，最后一个副本放在不同机架的节点上。这种策略减少了机架间的数据传输，提高了写操作的效率。机架的错误远比节点的错误少，所以这个策略不会影响数据的可靠性和可用性。同时，因为数据块只放在两个不同的机架上，所以这个策略减少了读取数据时需要的网络传输总带宽。这一策略在不损害数据可靠性和读取性能的情祝下改进了写的性能。
另一方面，在读取数据时，为了减少整体的带宽消耗和降低整体的带宽延时，HDFS会尽量让读取程序读取离客户端最近的副本。如果在读取程序的同一个机架上有一个副本，那么就读取该副本。如果一个HDFS集群跨越了多个数据中心，那么客户端也将首先读取本地数据中心的副本。
2、安全模式
NameNode启动后会进入一个称为安全模式的特殊状态。处于安全模式的NameNode不会进行数据块的复制的。NameNode从所有的DataNode上接收心跳信号和块状态报告。块状态报告包括了某个DataNode所有的数据块列表。每个数据块都有一个指定的最小副本数。当NameNode检测确认某个数据块的副本数目达到最小值时，那么该数据块就会被认为是副本安全的;在一定百分比(这个参数可配置)的数据块被NameNode检测确认安全之后(加上一个额外的30秒等待时间)，NameNode将退出安全模式状态。接下来它会确定还有哪些数据块的副本没有达到指定数目，并将这些数据块复制到其他DataNode上。
3、文件安全
NameNode的重要性是显而易见的，没有它客户端将无法获得文件块的位置。在实际应用中，如果集群的NameNode出现故障，就意味着整个文件系统中全部的文件会丢失，因为我们无法再通过DataNode上的文件块来重构文件。下面简单介绍Hadoop是采用哪种机制来确保NameNode的安全的。
第一种方法是，备份NameNade上持久化存储的元数据文件，然后将其转储到其他文件系统中，这种转储是同步的、原子的操作。通常的实现方法是，将NameNode中的元数据转储到远程的NFS文件系统中。
第二种方法是，系统中同步运行一个Secondary NameNode(二级NameNade）。 这个节点的主要作用就是周期性地合并编辑日志中的命名空间镜像，以避免编辑日志过大。Secondary NameNode的运行通常需要大量的CPU和内存去做合并操作，这就要求其运行在一台单独的机器上。在这台机器上会存储合并过的命名空间镜像，这些镜像文件会在NameNode宕机后做替补使用，以便最大限度地减少文件的损失。但是，需要注意的是，Secondary NameNod。的同步备份总会滞后于NameNade，所以损失是必然的。
本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5134302.html，如需转载请自行联系原作者