Yarn常用配置参数
队列资源分配
Yarn服务提供队列给用户使用，用户分配对应的系统资源给各队列使用。完成配置后，您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。
参数入口：
MRS 3.x之前的版本集群执行以下操作：
用户在MRS控制台上，选择“租户管理 > 资源分布策略”。
参数说明以default为例，其他队列的配置类似，单击“修改”编辑。
|
配置参数 |
说明 |
默认值 |
|---|---|---|
|
资源容量 |
队列的资源容量（百分比）。当系统非常繁忙时，应保证每个队列的容量得到满足，而如果每个队列应用程序较少，可将剩余资源共享给其他队列。注意，所有队列的容量之和应小于100。 |
20 |
|
最大资源容量 |
队列的资源使用上限（百分比）。由于存在资源共享，因此一个队列使用的资源量可能超过其容量，而最多使用资源量可通过该参数限制。 |
100 |
MRS 3.x及后续版本集群执行以下操作：
用户可在Manager系统中，选择“租户资源 > 动态资源计划 > 队列配置”。
参数说明以修改Superior调度器的default租户为例，其他队列的配置类似，单击“修改”编辑。
|
参数名 |
描述 |
|---|---|
|
AM最多占有资源（%） |
表示当前队列内所有Application Master所占的最大资源百分比。 |
|
每个YARN容器最多分配核数 |
表示当前队列内单个YARN容器可分配的最多核数，默认为-1，表示取值范围内不限制。 |
|
每个YARN容器最大分配内存（MB） |
表示当前队列内单个YARN容器可分配的最大内存，默认为-1，表示取值范围内不限制。 |
|
最多运行任务数 |
表示当前队列最多同时可执行任务的数目，默认为-1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为-1～2147483647。 |
|
每个用户最多运行任务数 |
表示每个用户在当前队列中最多同时可执行任务的数目，默认为-1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为-1～2147483647。 |
|
最多挂起任务数 |
表示当前队列最多同时可挂起任务的数目，默认为-1，表示取值范围内不限制（为空意义相同），为0表示不可挂起任务。取值范围为-1～2147483647。 |
|
资源分配规则 |
表示单个用户任务间的资源分配规则，包括FIFO和FAIR。 一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 |
|
默认资源标签 |
表示在指定资源标签（Label）的节点上执行任务。 |
|
Active状态 |
|
|
Open状态 |
|
在UI显示container日志
默认情况下，系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中，可以配置参数见表3。具体配置操作请参考修改集群服务配置参数。
|
配置参数 |
说明 |
默认值 |
|---|---|---|
|
yarn.log-aggregation-enable |
设置是否将container日志收集到HDFS中。
修改参数值后，需重启Yarn服务使其生效。
说明：
在修改值为false并生效后，生效前的日志无法在UI中获取。您可以在“yarn.nodemanager.remote-app-log-dir-suffix”参数指定的路径中获取到生效前的日志。 如果需要在UI上查看之前产生的日志，建议将此参数设置为true。 |
true |
在WebUI显示更多历史作业
默认情况下，Yarn WebUI界面支持任务列表分页功能，每个分页最多显示5000条历史作业，总共最多保留10000条历史作业。如果您需要在WebUI上查看更多的作业，可以配置参数如表4。具体配置操作请参考修改集群服务配置参数。
|
配置参数 |
说明 |
默认值 |
|---|---|---|
|
yarn.resourcemanager.max-completed-applications |
设置在WebUI总共显示的历史作业数量。 |
10000 |
|
yarn.resourcemanager.webapp.pagination.enable |
是否开启Yarn WebUI的任务列表后台分页功能。 |
true |
|
yarn.resourcemanager.webapp.pagination.threshold |
开启Yarn WebUI的任务列表后台分页功能后，每个分页显示的最大作业数量。 |
5000 |
- 显示更多的历史作业，会影响性能，增加打开Yarn WebUI的时间，建议开启后台分页功能，并根据实际硬件性能修改“yarn.resourcemanager.max-completed-applications”参数。
- 修改参数值后，需重启Yarn服务使其生效。
