纱线不遵守yarn.nodemanager.resource.cpu-vcores

Question

我使用的是Hadoop-2.4.0，我的系统配置是24核心，96 GB RAM。

我使用以下CONFIGS

mapreduce.map.cpu.vcores=1 
yarn.nodemanager.resource.cpu-vcores=10 
yarn.scheduler.minimum-allocation-vcores=1 
yarn.scheduler.maximum-allocation-vcores=4 
yarn.app.mapreduce.am.resource.cpu-vcores=1 

yarn.nodemanager.resource.memory-mb=88064 
mapreduce.map.memory.mb=3072 
mapreduce.map.java.opts=-Xmx2048m 

容量调度CONFIGS

queue.default.capacity=50 
queue.default.maximum_capacity=100 
yarn.scheduler.capacity.root.default.user-limit-factor=2 

通过以上CONFIGS，我预计纱线不会推出每个节点超过10个映射器，但它推出28名映射器每个节点。 我做错了什么？

Answer 1

YARN运行的容器多于分配的内核，因为默认使用DefaultResourceCalculator。它只考虑内存。

public int computeAvailableContainers(Resource available, Resource required) { 
// Only consider memory 
return available.getMemory()/required.getMemory(); 
    } 

使用DominantResourceCalculator，它同时使用cpu和内存。

设置以下配置在能力scheduler.xml

yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator 

更多DominantResourceCalculator