HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

目录

1、namenode目录存储的元数据信息

2、datanode存储的数据块信息

3、上传一个大文件,大于128M,HDFS需要对文件进行分块存储

4、问题


HDFS2.7默认的块大小为128M,从下面的图中可以看出。

在根目录下上传四个文件,通过web页面可以查看到:http://192.168.254.101:50070/explorer.html#/

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

1、namenode目录存储的元数据信息

/export/data/hadoop/dfs/name

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

在这里可以看到fsimage镜像文件,以及编辑日志文件edits_*。

namenode下的/export/data/hadoop/dfs/data目录下没有存数据

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

 

 

2、datanode存储的数据块信息

/export/data/hadoop/dfs/data

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

 

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

 

同样,在datanode节点的/export/data/hadoop/dfs/name下也没有存元数据信息

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

 

3、上传一个大文件,大于128M,HDFS需要对文件进行分块存储

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

 

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

主要是datanode数据的分块处理如下图

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

每个数据块都有一个块id

4、问题

1)、不是每个块存三份吗?这里好像只有两份?另外一份存在哪里?