Capacity Scheduler Resource Calculator

发表于 更新于 分类于 ， 阅读次数： Changyan：

在spark-sql提交查询时，指定了executor的cores数量，但Yarn显示每个container的cores数量一直为1。原因Capacity Scheduler默认只统计内存的使用。参考链接：Capacity Scheduler。

在yarn-site.xml配置文件中添加以下配置：

1
2
3
4
<property>
  <name>yarn.scheduler.capacity.resource-calculator</name>
  <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>

重启Yarn。