HDFS的读写过程
-
HDFS的写文件
把文件切分成block,然后第一个块响应给namenode，namenode给客户端返回给第一个block储存的地址（包括block副本）。客户端接收到该信息，开始吧块分成更小packet，开始向datanode写入block，类似管道的运输方式运输packet。运输完成返回给客户端信息，客户端再从namenode获取第二个block的位置，重复之。 - HDFS的读文件
客户端通过namenode获取到需要读的文件的块位置，然后拿着这个信息去datanode根据块顺序进行读，合并成一个文件，再block副本列表以距离优先选取。