# Yarn常用配置参数 #### 队列资源分配 Yarn服务提供队列给用户使用，用户分配对应的系统资源给各队列使用。完成配置后，您可以单击"刷新队列"按钮或者重启Yarn服务使配置生效。 **参数入口：** MRS 3.x之前的版本集群执行以下操作： 用户在MRS控制台上，选择"租户管理 \> 资源分布策略"。 参数说明以default为例，其他队列的配置类似，单击"修改"编辑。 表1参数说明 | **配置参数** | **说明** | **默认值** | |:---|:---|:---| | 资源容量 | 队列的资源容量（百分比）。当系统非常繁忙时，应保证每个队列的容量得到满足，而如果每个队列应用程序较少，可将剩余资源共享给其他队列。注意，所有队列的容量之和应小于100。 | 20 | | 最大资源容量 | 队列的资源使用上限（百分比）。由于存在资源共享，因此一个队列使用的资源量可能超过其容量，而最多使用资源量可通过该参数限制。 | 100 | MRS 3.x及后续版本集群执行以下操作： 用户可在Manager系统中，选择"租户资源 \> 动态资源计划 \> 队列配置"。 ![](https://support.huaweicloud.com/cmpntguide-mrs/zh-cn_image_0000001210040649.png) 参数说明以修改Superior调度器的default租户为例，其他队列的配置类似，单击"修改"编辑。 表2队列配置参数 | 参数名 | 描述 | |:---|:---| | AM最多占有资源（%） | 表示当前队列内所有Application Master所占的最大资源百分比。 | | 每个YARN容器最多分配核数 | 表示当前队列内单个YARN容器可分配的最多核数，默认为-1，表示取值范围内不限制。 | | 每个YARN容器最大分配内存（MB） | 表示当前队列内单个YARN容器可分配的最大内存，默认为-1，表示取值范围内不限制。 | | 最多运行任务数 | 表示当前队列最多同时可执行任务的数目，默认为-1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为-1～2147483647。 | | 每个用户最多运行任务数 | 表示每个用户在当前队列中最多同时可执行任务的数目，默认为-1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为-1～2147483647。 | | 最多挂起任务数 | 表示当前队列最多同时可挂起任务的数目，默认为-1，表示取值范围内不限制（为空意义相同），为0表示不可挂起任务。取值范围为-1～2147483647。 | | 资源分配规则 | 表示单个用户任务间的资源分配规则，包括FIFO和FAIR。 一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 | | 默认资源标签 | 表示在指定资源标签（Label）的节点上执行任务。 | | Active状态 | - ACTIVE表示当前队列可接受并执行任务。 - INACTIVE表示当前队列可接受但不执行任务，若提交任务，任务将处于挂起状态。 | | Open状态 | - OPEN表示当前队列处于打开状态。 - CLOSED表示当前队列处于关闭状态，若提交任务，任务直接会被拒绝。 | #### 在UI显示container日志 默认情况下，系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中，可以配置参数见[表3]。具体配置操作请参考[修改集群服务配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2125.html)。 表3参数说明 | **配置参数** | **说明** | **默认值** | |:---|:---|:---| | yarn.log-aggregation-enable | 设置是否将container日志收集到HDFS中。 - 设置为true，表示日志会被收集到HDFS目录中。默认目录为"{yarn.nodemanager.remote-app-log-dir}/${user}/{thisParam}"，该路径可通过界面上的"yarn.nodemanager.remote-app-log-dir-suffix"参数进行配置。 - 设置为false，表示日志不会收集到HDFS中。 修改参数值后，需重启Yarn服务使其生效。 说明： 在修改值为false并生效后，生效前的日志无法在UI中获取。您可以在"yarn.nodemanager.remote-app-log-dir-suffix"参数指定的路径中获取到生效前的日志。 如果需要在UI上查看之前产生的日志，建议将此参数设置为true。 | true | #### 在WebUI显示更多历史作业 默认情况下，Yarn WebUI界面支持任务列表分页功能，每个分页最多显示5000条历史作业，总共最多保留10000条历史作业。如果您需要在WebUI上查看更多的作业，可以配置参数如[表4]。具体配置操作请参考[修改集群服务配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2125.html)。 表4参数说明 | **配置参数** | **说明** | **默认值** | |:---|:---|:---| | yarn.resourcemanager.max-completed-applications | 设置在WebUI总共显示的历史作业数量。 | 10000 | | yarn.resourcemanager.webapp.pagination.enable | 是否开启Yarn WebUI的任务列表后台分页功能。 | true | | yarn.resourcemanager.webapp.pagination.threshold | 开启Yarn WebUI的任务列表后台分页功能后，每个分页显示的最大作业数量。 | 5000 | ![](https://support.huaweicloud.com/cmpntguide-mrs/public_sys-resources/note_3.0-zh-cn.png) - 显示更多的历史作业，会影响性能，增加打开Yarn WebUI的时间，建议开启后台分页功能，并根据实际硬件性能修改"yarn.resourcemanager.max-completed-applications"参数。 - 修改参数值后，需重启Yarn服务使其生效。