更新时间:2022-12-08 GMT+08:00

Yarn常用参数

队列资源分配

Yarn服务提供队列给用户使用,用户分配对应的系统资源给各队列使用。完成配置后,您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。

参数入口:

MRS 3.x之前的版本集群执行以下操作:

用户在MRS控制台上,选择“租户管理 > 资源分布策略”。

参数说明以default为例,其他队列的配置类似,单击“修改”编辑。

表1 参数说明

配置参数

说明

默认值

资源容量

队列的资源容量(百分比)。当系统非常繁忙时,应保证每个队列的容量得到满足,而如果每个队列应用程序较少,可将剩余资源共享给其他队列。注意,所有队列的容量之和应小于100。

20

最大资源容量

队列的资源使用上限(百分比)。由于存在资源共享,因此一个队列使用的资源量可能超过其容量,而最多使用资源量可通过该参数限制。

100

MRS 3.x及后续版本集群执行以下操作:

用户可在Manager系统中,选择“租户资源 > 动态资源计划 > 队列配置”。

参数说明以修改Superior调度器的default租户为例,其他队列的配置类似,单击“修改”编辑。

表2 队列配置参数

参数名

描述

AM最多占有资源(%)

表示当前队列内所有Application Master所占的最大资源百分比。

每个YARN容器最多分配核数

表示当前队列内单个YARN容器可分配的最多核数,默认为-1,表示取值范围内不限制。

每个YARN容器最大分配内存(MB)

表示当前队列内单个YARN容器可分配的最大内存,默认为-1,表示取值范围内不限制。

最多运行任务数

表示当前队列最多同时可执行任务的数目,默认为-1,表示取值范围内不限制(为空意义相同),为0表示不可执行任务。取值范围为-1~2147483647。

每个用户最多运行任务数

表示每个用户在当前队列中最多同时可执行任务的数目,默认为-1,表示取值范围内不限制(为空意义相同),为0表示不可执行任务。取值范围为-1~2147483647。

最多挂起任务数

表示当前队列最多同时可挂起任务的数目,默认为-1,表示取值范围内不限制(为空意义相同),为0表示不可挂起任务。取值范围为-1~2147483647。

资源分配规则

表示单个用户任务间的资源分配规则,包括FIFO和FAIR。

一个用户若在当前队列上提交了多个任务,FIFO规则代表一个任务完成后再执行其他任务,按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。

默认资源标签

表示在指定资源标签(Label)的节点上执行任务。

Active状态

  • ACTIVE表示当前队列可接受并执行任务。
  • INACTIVE表示当前队列可接受但不执行任务,若提交任务,任务将处于挂起状态。

Open状态

  • OPEN表示当前队列处于打开状态。
  • CLOSED表示当前队列处于关闭状态,若提交任务,任务直接会被拒绝。

在UI显示container日志

默认情况下,系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中,可以配置参数见表3。具体配置操作请参考修改集群服务配置参数

表3 参数说明

配置参数

说明

默认值

yarn.log-aggregation-enable

设置是否将container日志收集到HDFS中。

  • 设置为true,表示日志会被收集到HDFS目录中。默认目录为“{yarn.nodemanager.remote-app-log-dir}/${user}/{thisParam}”,该路径可通过界面上的“yarn.nodemanager.remote-app-log-dir-suffix”参数进行配置。
  • 设置为false,表示日志不会收集到HDFS中。

修改参数值后,需重启Yarn服务使其生效。

说明:

在修改值为false并生效后,生效前的日志无法在UI中获取。您可以在“yarn.nodemanager.remote-app-log-dir-suffix”参数指定的路径中获取到生效前的日志。

如果需要在UI上查看之前产生的日志,建议将此参数设置为true。

true

在WebUI显示更多历史作业

默认情况下,Yarn WebUI界面支持任务列表分页功能,每个分页最多显示5000条历史作业,总共最多保留10000条历史作业。如果您需要在WebUI上查看更多的作业,可以配置参数如表4。具体配置操作请参考修改集群服务配置参数

表4 参数说明

配置参数

说明

默认值

yarn.resourcemanager.max-completed-applications

设置在WebUI总共显示的历史作业数量。

10000

yarn.resourcemanager.webapp.pagination.enable

是否开启Yarn WebUI的任务列表后台分页功能。

true

yarn.resourcemanager.webapp.pagination.threshold

开启Yarn WebUI的任务列表后台分页功能后,每个分页显示的最大作业数量。

5000

  • 显示更多的历史作业,会影响性能,增加打开Yarn WebUI的时间,建议开启后台分页功能,并根据实际硬件性能修改“yarn.resourcemanager.max-completed-applications”参数。
  • 修改参数值后,需重启Yarn服务使其生效。