Hadoop Yarn 基本架构

Hadoop Yarn 基本架构

Hadoop Yarn 基本架构
YARN是一个资源管理、任务调度的框架,主要包含三大模块:

  • ResourceManager(RM)
  • NodeManager(NM)
  • ApplicationMaster(APPM)

ResourceManager(RM)

ResourceManager负责所有资源的监控、分配和管理,一个集群只有一个

NodeManager(NM)

NodeManager负责每一个节点的维护,一个集群有多个

ApplicationMaster(APPM)

ApplicationMaster负责每一个具体应用程序的调度和协调,一个集群有多个

对于所有的applications,RM拥有绝对的控制权和对资源的分配权。
每个AM则会和RM协商资源,同时和NodeManager通信来执行和监控task。