HDFS架构及读写策略
1HDFS的架构
•一个HDFS文件系统包括一个主控节点NameNode和一组DataNode从节点。
–NameNode是一个主服务器，用来管理整个文件系统的命名空间和元数据，以及处理来自外界的文件访问请求。NameNode保存了文件系统的三种元数据:
•1) 命名空间， 即整个分布式文件系统的目录结构;
•2 ) 数据块与文件名的映射表;
•3) 每个数据块副本的位置信息，每一个数据块默认有3个副本
–DataNode用来实际存储和管理文件的数据块
•文件中的每个数据块默认的大小为64MB;同时为了防止数据丢失，
每个数据块默认有3个副本，且3
个副本会分别复制在不同的节点上，以避免一个节点失效造成一个数据块的彻底丢失。
•每个DataNode的数据实际上是存储在每个节点的本地Linux文件系统中
hdfs是hadoop的分布式文件系统,可以创建,删除移动和重命名文件
需要hdfs的原因:hdfs具有大规模数据分布存储能力,高并发访问能力,顺序性文件访存,简单一致性模型,用流方式处理文件,在系统中都能找到他的映像,有强大的容错能力,数据冗余式存储,直接将多片的文件交给分片以后的存储器去校验
HDFS的配置是按照高数据吞吐量优化的,以高时间延时为代价,具有很高的弹性
2.元数据块
元数据是用于描述要素、数据集或数据集系列的内容、覆盖范围、质量、管理方式、数据的所有者、数据的提供方式等有关的信息。更简单的说，是关于数据的数据
3.数据块
•在传统的块存储介质中，块是读写的最小数据单位 (扇区)
•传统文件系统基于存储块进行操作
–为了节省文件分配表空间，会对物理存进行储块整般合，一般大小为4096字节
•HDFS也使用了块的概念，但是默认大小设为64M字节
–可针对每个文件配置，由客户端指定
–每个块有一个自己的全局ID
•HDFS将一个文件分为一个或数个块来存储
–每个块是一个独立的存储单位
–以块为单位在集群服务器上分配存储
•与传统文件系统不同的是，如果实际数据没有达到块大小，则并不实际占用磁盘空间
–如果一个文件是200M，则它会被分为4个块: 64+64+64+8
使用块的好处
–当一个文件大于集群中任意一个磁盘的时候，文件系统可以充分利用集群中所有的磁盘
–管理块使底层的存储子系统相对简单
–块更加适合备份，从而为容错和高可用性的实现带来方便
–最重要的是，采用块方式，实现了名字与位置的分离，实现了的存储位置的独立性
4.读写策略
数据读取
1.客户端调用FileSystem实例的open方法，获得这个文件对应的输入流InputStream
2.通过RPC
远程调用NameNode，获得NameNode中此文件对应的数据块保存位置，包括这个文件的副本的保存位置(主要是各DataNode的地址)。
3.获得输入流之后，客户端调用read方法读取数据。选择最近的DataNode建立连接并读取数据。
4.如果客户端和其中一个DataNode位于同一机器(比如MapReduce过程中的mapper
和reducer)，那么就会直接从本地读取数据。
5.到达数据块末端，关闭与这个DataNode的连接，然后重新查找下一个数据块。
6.不断执行第2 - 5
步直到数据全部读完
7.客户端调用close，关闭输入流DF S
InputStream
数据写入
2222
1.客户端调用FileSystem实例的create方法，创建文件。NameNode通过一些检查，比如文件是否存在，客户端是否拥有创建权限等;通过检查之后，在NameNode添加文件信息。注意，因为此时文件没有数据，所以NameNode上也没有文件数据块的信息。
2.创建结束之后，
HDFS 会返回一个输出流DFSDataOutputStream给客户端。
3.客户端调用输出流DFSDataOutputStream的write方法向HDFS
中对应的文件写入数据。
4.数据首先会被分包，这些分包会写人一个输出流的内部队列Data队列中，接收完数据分包，输出流DFSDataOutputStream会向NameNode申请保存文件和副本数据块的若干个DataNode，
这若干个DataNode会形成一个数据传输管道。DFSDataOutputStream将数据传输给距离上最短的DataNode，这个DataNode接收到数据包之后会传给下一个DataNode。数据在各DataNode之间通过管道流动，而不是全部由输出流分发，以减少传输开销。
5.因为各DataNode位于不同机器上，数据需要通过网络发送，所以，为了保证所有DataNode的数据都是准确的，接收到数据的DataNode要向发送者发送确认包(ACK
Packet ) 。对于某个数据块，只有当DFSDataOutputStream收到了所有DataNode的正确ACK.才能确认传输结束。DFSDataOutputStream内部专门维护了一个等待ACK队列，这一队列保存已经进入管道传输数据、但是并未被完全确认的数据包。
6.不断执行第3 - 5步直到数据全部写完，客户端调用close关闭文件。
7.DFSDataInputStream继续等待直到所有数据写人完毕并被确认，调用complete方法通知NameNode文件写入完成。NameNode接收到complete消息之后，等待相应数量的副本写入完毕后，告知客户端。