HDFS写数据流程
分类:
文章
•
2024-08-26 14:15:22
一、文件的写入
- 客户端启动，建立一个Distributed FileSystem模块向NameNode请求上传文件，NameNode检查文件是否存在，父目录是否存在。
- NameNode检查完毕时候返回是否可以上传文件。
- 客户端请求第一个Block上传到哪几个DataNode服务器上。
- NameNode返回需要上传的DataNode。比如node1,node2,node3。
- 客户端通过通过FSDataOutputStream模块请求node1上传数据，node1收到请求会继续调用node2，然后node2调用node3。
- node1，node2，node3逐级应答客户端。
- 客户端开始往node1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，node1收到一个Packet会传递给node2，node2会传给node3。node1每传一个Packet会放入一个应答队列等待应答。
- 当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复3-7）
