HDFS的文件读取原理，详细解析如下：

     1、首先调用FileSystem对象的open方法，其实获取的是一个DistributedFileSystem的实例。

         2、DistributedFileSystem通过RPC(远程过程调用)获得文件的第一批block的locations，同一block按照重复数会返回多个locations，这些locations按照Hadoop拓扑结构排序，距离客户端近的排在前面。

     3、前两步会返回一个FSDataInputStream对象，该对象会被封装成 DFSInputStream对象，DFSInputStream可以方便的管理datanode和namenode数据流。客户端调用read方 法，DFSInputStream就会找出离客户端最近的datanode并连接datanode。

           4、数据从datanode源源不断的流向客户端。

          5、如果第一个block块的数据读完了，就会关闭指向第一个block块的datanode连接，接着读取下一个block块。这些操作对客户端来说是透明的，从客户端的角度来看只是读一个持续不断的流。

         6、如果第一批block都读完了，DFSInputStream就会去namenode拿下一批blocks的location，然后继续读，如果所有的block块都读完，这时就会关闭掉所有的流。 

三：如何写入文件

HDFS的文件写入原理详细步骤解析：

      1.客户端通过调用 DistributedFileSystem 的create方法，创建一个新的文件。

      2.DistributedFileSystem 通过 RPC（远程过程调用）调用 NameNode，去创建一个没有blocks关联的新文件。创建前，NameNode 会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，NameNode 就会记录下新文件，否则就会抛出IO异常。

      3.前两步结束后会返回 FSDataOutputStream 的对象，和读文件的时候相似，FSDataOutputStream 被封装成 DFSOutputStream，DFSOutputStream 可以协调 NameNode和 DataNode。客户端开始写数据到DFSOutputStream,DFSOutputStream会把数据切成一个个小packet，然后排成队列 data queue。

      4.DataStreamer 会去处理接受 data queue，它先问询 NameNode 这个新的 block 最适合存储的在哪几个DataNode里，比如重复数是3，那么就找到3个最适合的 DataNode，把它们排成一个 pipeline。DataStreamer 把 packet 按队列输出到管道的第一个 DataNode 中，第一个 DataNode又把 packet 输出到第二个 DataNode 中，以此类推。

      5.DFSOutputStream 还有一个队列叫 ack queue，也是由 packet 组成，等待DataNode的收到响应，当pipeline中的所有DataNode都表示已经收到的时候，这时akc queue才会把对应的packet包移除掉。

      6.客户端完成写数据后，调用close方法关闭写入流。

      7.DataStreamer 把剩余的包都刷到 pipeline 里，然后等待 ack 信息，收到最后一个 ack 后，通知 DataNode 把文件标示为已完成

四：YARN的架构

ResourceManager（RM）

RM是全局资源管理器，负责整个系统的资源管理和分配。

主要由两个组件组成：调度器和应用 程序管理器（ASM）

调度器

调度器根据容量，队列等限制条件，将系统中的资源分配给各个正在运行的应用程序

不负责具体应用程序的相关工作，比如监控或跟踪状态

不负责重新启动失败任务

资源分配单位用“资源容器”resource Container表示

Container是一个动态资源分配单位，它将内存，CPU,磁盘，网络等资源封装在一起，从而限定每个任务的资源量

调度器是一个可插拔的组件，用户可以自行设计

YARN提供了多种直接可用的调度器，比如fair Scheduler和Capacity Scheduler等。

应用程序管理器

负责管理整个系统中所有应用程序

ApplicationMaster(AM)

用户提交的每个应用程序均包含一个AM

AM的主要功能

与RM调度器协商以获取资源（用Container表示）

将得到的任务进一步分配给内部的任务

与NM通信以自动/停止任务

监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务

当前YARN自带了两个AM实现

一个用于演示AM编写方法的实例程序distributedshell

一个用于Mapreduce程序---MRAppMaster

其他的计算框架对应的AM正在开发中，比如spark等。

Nodemanager（NM）和Container

NM是每个节点上的资源和任务管理器

定时向RM汇报本节点上的资源使用情况和各个Container的运行状态

接收并处理来自AM的Container启动/停止等各种要求

Container是YARN中的资源抽象，它封装了某个节点上的多维度资源

YARN会为每个任务分配一个Container，且改任务只能使用该Container中描述的资源

Container不同于MRv1的slot，它是一个动态资源划分单位，是根据应用程序的需求动态产生的

yarn的工作流程

1：由客户端提交一个应用，由RM的ASM接受应用请求

提交过来的应用程序包括哪些内容：

a:ApplicationMaster

b:启动Applicationmaster的命令

c:本身应用程序的内容

2:提交了三部分内容给RM，然后RM找NodeManager,然后

Nodemanager就启用Applicationmaster，并分配Container

接下来我们就要执行这个任务了，

3:但是执行任务需要资源，所以我们得向RM的ASM申请执行任务的资源（它会在ＲＭ这儿注册一下，说我已经启动了，注册了以后就可以通过RM的来管理，我们用户也可以通过ＲＭ的ｗｅｂ客户端来监控任务的状态）ＡＳＭ只是负责APplicationMaster的启用

4::我们注册好了后，得申请资源，申请资源是通过第四步，向ResourceScheduler申请的

5:申请并领取资源后，它会找Nodemanager，告诉他我应经申请到了，然后Nodemanager判断一下，

6:知道他申请到了以后就会启动任务，当前启动之前会准备好环境，

7:任务启动以后会跟APplicationmaster进行通信，不断的心跳进行任务的汇报。

8:完成以后会给ＲＭ进行汇报，让RSM撤销注册。然后RSM就会回收资源。当然了，我们是分布式的，所以我们不会只跟自己的Nodemanager通信。也会跟其他的节点通信。