大数据Hadoop 技术内幕:深入解析 HDFS架构设计与实现原理

一、HDFS架构

大数据Hadoop 技术内幕:深入解析 HDFS架构设计与实现原理

 

二、HDFS设计思想

大数据Hadoop 技术内幕:深入解析 HDFS架构设计与实现原理

 

大数据Hadoop 技术内幕:深入解析 HDFS架构设计与实现原理

 

三、HDFS写流程

大数据Hadoop 技术内幕:深入解析 HDFS架构设计与实现原理

 

---Client:

·切分文件Block

·按Block线性和NN获取DN列表(副本数)

·验证DN列表后以更小的单位流式传输数据

---各节点,两两通信确定可用

·Block传输结束后:

---DN向NN汇报Block信息

---DN向Client汇报完成

---Client向NN汇报完成

·获取下一个Block存放的DN列表

·。。。。。。

·最终Client汇报完成

·NN会在写流程更新文件状态

四、HDFS读流程

大数据Hadoop 技术内幕:深入解析 HDFS架构设计与实现原理

---Client:

·和NN获取一部分Block副本位置列表

·线性和DN获取Block,最终合并为一个文件

·在Block副本列表中按距离择优选取

五、HDFS文件权限POSIX

---与Linux文件权限类似

·r: read; w:write; x:execute

·权限x对于文件忽略,对于文件夹表示是否允许访问其内容

---如果Linux系统用户zhangsan使用hadoop命令创建一个文件,那么这个文件在HDFS中owner就是zhangsan。

---HDFS的权限目的:阻止好人错错事,而不是阻止坏人做坏事。HDFS相信,你告诉我你是谁,我就认为你是谁。

本文为原创,禁止转载!