HDFS读文件
1、首先调用FileSystem.open()方法,获取到DistributedFileSystem实例
2、DistributedFileSystem通过RPC(远程过程调用)获得文件的开始部分或全部block列表,对于每个返回的块,都包含块所在的DataNode地址。这些DataNode会按照Hadoop定义的集群拓扑结构得出客户端的距离,然后再进行排序。
如果客户端本身就是一个DataNode,那么他将从本地读取文件。
3、DistributedFileSystem会向客户端返回一个支持文件定位的输入流对象FSDataInputStream,用于客户端读取数据。FSDataInputStream包含一个DFSInputStream对象,这个对象用来管理DataNode和NameNode之间的I/O
4、客户端调用read()方法,DFSInputStream就会找出离客户端最近的datanode并连接datanode
5、DFSInputStream对象中包含文件开始部分的数据块所在的DataNode地址,首先它会连接包含文件第一个块最近DataNode。随后,在数据流中重复调用read()函数,直到这个块全部读完为止。
如果第一个block块的数据读完,就会关闭指向第一个block块的datanode连接,接着读取下一个 block块
6、如果第一批block都读完了,DFSInputStream就会去namenode拿下一批blocks的location,然后继续读,如果所有的block块都读完,这时就会关闭掉所有的流。