HDFS上传文件后datanode元数据目录和和datanode数据目录的变化
目录
3、上传一个大文件,大于128M,HDFS需要对文件进行分块存储
HDFS2.7默认的块大小为128M,从下面的图中可以看出。
在根目录下上传四个文件,通过web页面可以查看到:http://192.168.254.101:50070/explorer.html#/
1、namenode目录存储的元数据信息
/export/data/hadoop/dfs/name
在这里可以看到fsimage镜像文件,以及编辑日志文件edits_*。
namenode下的/export/data/hadoop/dfs/data目录下没有存数据
2、datanode存储的数据块信息
/export/data/hadoop/dfs/data
同样,在datanode节点的/export/data/hadoop/dfs/name下也没有存元数据信息
3、上传一个大文件,大于128M,HDFS需要对文件进行分块存储
主要是datanode数据的分块处理如下图
每个数据块都有一个块id
4、问题
1)、不是每个块存三份吗?这里好像只有两份?另外一份存在哪里?