Hadoop NodeManager

YARN - NodeManager

Node节点下的Container管理

1. 启动时向ResourceManager注册并定时发送心跳消息，等待ResourceManager的指令

2. 监控Container的运行，维护Container的生命周期，监控Container的资源使用情况

3. 启动或停止Container，管理任务运行时的依赖包（根据ApplicationMaster的需要，启动Container之前将需要的程序及其依赖包、配置文件等拷贝到本地）

内部结构

• NodeStatusUpdater: 启动向ResourceManager注册，报告该节点的可用资源情况，通信的端口和后续状态的维护

• ContainerManager: 接收RPC请求（启动、停止），资源本地化（下载应用需要的资源到本地，根据需要共享这些资源）

  PUBLIC: /filecache

  PRIVATE: /usercache//filecache

  APPLICATION: /usercache//appcache//（在程序完成后会被删除）

• ContainersLauncher: 加载或终止Container

• ContainerMonitor: 监控Container的运行和资源使用情况

• ContainerExecutor: 和底层操作系统交互，加载要运行的程序

Hadoop ApplicationMaster

YARN - ApplicationMaster

单个作业的资源管理和任务监控

具体功能描述：

1. 计算应用的资源需求，资源可以是静态或动态计算的，静态的一般是Client申请时就指定了，动态则需要ApplicationMaster根据应用的运行状态来决定

2. 根据数据来申请对应位置的资源（Data Locality）

3. 向ResourceManager申请资源，与NodeManager交互进行程序的运行和监控，监控申请的资源的使用情况，监控作业进度

4. 跟踪任务状态和进度，定时向ResourceManager发送心跳消息，报告资源的使用情况和应用的进度信息

5. 负责本作业内的任务的容错

ApplicationMaster可以是用任何语言编写的程序，它和ResourceManager和NodeManager之间是通过ProtocolBuf交互，以前是一个全局的JobTracker负责的，现在每个作业都一个，可伸缩性更强，至少不会因为作业太多，造成JobTracker瓶颈。同时将作业的逻辑放到一个独立的ApplicationMaster中，使得灵活性更加高，每个作业都可以有自己的处理方式，不用绑定到MapReduce的处理模式上

如何计算资源需求

一般的MapReduce是根据block数量来定Map和Reduce的计算数量，然后一般的Map或Reduce就占用一个Container

如何发现数据的本地化

数据本地化是通过HDFS的block分片信息获取的