Yarn管理界面中各个参数和yarn-site.xml中参数的对应关系
启动集群后,打开master:8088/cluster/nodes
然后打开:
master:8088/cluster/scheduler
上图中右侧的73.2%≈4.39 GB/6GB=0.7316666666
Web UI界面参数 | yarn-site.xml中的参数 |
Memory Total | 集群中每台电脑中yarn.nodemanager.resource.memory-mb的取值累加后的和 |
VCores Total | 集群中每台电脑中yarn.nodemanager.resource.cpu-vcores的取值累加后的和 |
Active Nodes | 集群中电脑的数量,最下面左侧Desktop+Laptop加起来就是两台电脑 |
Minimum Allocation-memory | yarn.scheduler.minimum-allocation-mb |
Minimum Allocation-vCores | yarn.scheduler.minimum-allocation-vcores |
Maximum Allocation-memory | yarn.scheduler.maximum-allocation-mb |
Maximum Allocation-vCores | yarn.scheduler.maximum-allocation-vcores |
[1]5.Minimum Allocation:最小分配资源,就是说当一个任务向Yarn申请资源的时候,Yarn至少会分配<memory:1024, vCores:1>这个资源给这个任务,这个分配的最小内存和最小核心数可以分别由配置yarn.scheduler.minimum-allocation-mb(默认值是1024MB)和yarn.scheduler.minimum-allocation-vcores(默认值是1)来控制
6.Maximum Allocation:最大分配资源,就是说当一个任务向Yarn申请资源的时候,Yarn最多会分配<memory:1630, vCores:2>这个资源给这个任务,这个分配的最大内存和最多核心数可以分别由配置yarn.scheduler.maximum-allocation-mb(默认值是8192MB)和yarn.scheduler.maximum-allocation-vcores(默认值是32)来控制,当然这两个值肯定不能比集群管理的资源还要多
Reference: