HDFS文件读取和写入

1、hdfs文件写入过程

比如上传文件
client对namenode说:我想上传一个文件,我有权限上传吗
namenode查了查,回答:行,你可以上传的,回家准备准备,把文件切小一点再来吧
client回去把文件切成一小块一小块,然后抱着一堆小文件来了
client对namenode说:请求上传第一块文件block,麻烦给我看看我可以存在哪里
namenode瞅了瞅机架感应宝典,选出了可以上传的三个主机,并把这个列表发给了client
client拿着列表去找datanode存数据了,datanode每存好一个副本就告诉上一级,我ok啦,直至回复传到客户端
请求上传第二个小文件block重复上面步骤。

HDFS文件读取和写入

2、hdfs文件读取过程

文件下载
client向namenode请求下载文件
namenode检查了一下client的权限,并告诉client每个block所在的位置,
client拿着这些位置信息列表去datanode找block,然后把小文件合并成一个大文件。

HDFS文件读取和写入