【tim带你学】HDFS DataNode的目录结构

HDFS DataNode的目录结构

目标：掌握DataNode的目录结构

和namenode不同的是，datanode的存储目录是初始阶段自动创建的，不需要额外格式化。在/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/current这个目录下查看版本号

[email protected] current]# cat VERSION #Thu Mar 14 07:58:46 CST 2019storageID=DS-47bcc6d5-c9b7-4c88-9cc8-6154b8a2bf39clusterID=CID-dac2e9fa-65d2-4963-a7b5-bb4d0280d3f4cTime=0datanodeUuid=c44514a0-9ed6-4642-b3a8-5af79f03d7a4storageType=DATA_NODElayoutVersion=-56

具体解释
（1）storageID：存储id号
（2）clusterID集群id，全局唯一
（3）cTime属性标记了datanode存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为0；但是在文件系统升级之后，该值会更新到新的时间戳。
（4）datanodeUuid：datanode的唯一识别码
（5）storageType：存储类型
（6）layoutVersion是一个负整数。通常只有HDFS增加新特性时才会更新这个版本号。

目录结构

这个例子中“jdk-8u65-linux-x64.tar.gz”有两个数据块。

第一个块“Block0”, 块大小134217728（128M）,块ID：1073741894,块池ID：BP-1282216739-192.168.10.131-1602020267158,存储在节点node01,node02上。

第二个块“Block0”, 块大小47043070(44.86M) ,块ID: 1073741895,块池ID：BP-1282216739-192.168.10.131-1602020267158,存储在节点node01,node03上。

进入node01节点的DataNode存储数据的目录，进入到块池的ID目录

下图是第一块的块id和块池id和目录结构中在node01中的对应图

下图是第二块的块id和块池id和目录结构中在node01中的对应图