hdfs 下载文件(读数据)流程
需求:向hdfs下载文件text.txt
- 1、 向namenode请求要下载的text.txt,namenode返回文件所在的datanode块位置信息
- 2、client挑选一台datanode(就近原则,然后再随机)服务器,请求建立socket流
- 3、datanode开始读取数据(从磁盘读取数据至流里面,以packet为单位来做校验)
- 4、客户端以packet为单位接收,先缓存在本地,然后写入目标文件
- 5、如果存在多个块,则是文件追加的过程
需求:向hdfs下载文件text.txt