第二十篇:HDFS体系结构

第二十篇:HDFS体系结构
Client
 实现文件切分。
 与 NameNode 交互,获取文件的位置信息。
 跟DataNode交互,读取对应的数据块。
 管理和访问HDFS
2. HDFS 体系结构
 NameNode
 管理 HDFS 的名称空间。
 管理数据块的映射关系。
 配置副本策略。
 客户端的读写请求
2. HDFS 体系结构
 DataNode
 存储实际的数据块。
 执行数据块的读/写操作。
2. HDFS 体系结构
 Block(数据块):
一个文件是被切分成多个Block,并且每个block有多个副本,这些副本被分布在多个
datanode上,它数据HDFS的最小存储单元。
 元数据:
是文件系统中文件和目录的信息以及文件和block的对应关系。
2. HDFS 体系结构
 命名空间镜像(FSlmage):
HDFS的目录树及文件/目录元信息是保存在内存中的,如果节点掉电或进程崩溃,数据将
不再存在,必须将上述信息保存到磁盘,Fslmage就是保存某一个时刻元数据的信息的磁盘文
件。
 镜像编辑日志(EditLog):
对内存目录树的修改,也必须同步到磁盘元数据上,但每次修改都将内存元数据导出到磁
盘,显然是不现实的,为此,namenode引入了镜像编辑日志,将每次的改动都保存在日
志中,如果namenode机器宕机或者namenode进程挂掉后可以使用FSlmage和EditLog联
合恢复内存元数据。