配置MRS租户队列

前提条件

• 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
• 如果通过Manager界面操作，需要已登录MRS集群Manager界面，详情请参考访问MRS集群Manager。

• 已添加关联Yarn并分配了动态资源的租户。

通过管理控制台配置租户队列

1. 登录MRS管理控制台。
2. 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。
3. 在集群详情页，单击“租户管理”。
4. 单击“队列配置”页签。
5. 在租户队列表格，指定租户队列的“操作”列，单击“修改”。
   

   • 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。
   • 一个队列只能绑定一个非default资源池。
   • MRS 2.x及之前版本：

     表1 队列配置参数

     参数名	示例	描述
     最大应用数量	10	表示最大应用程序数量。
     AM最大资源百分比	10	表示集群中可用于运行Application Master的最大资源占比。
     用户资源最小上限百分比 (%)	25	表示用户使用的最小资源上限百分比。 任何时刻，一个队列中每个用户可使用的资源量均有一定的限制。当一个队列中同时运行多个用户的应用程序时，每个用户的使用资源量在一个最小值和最大值之间浮动，其中，最小值取决于正在运行的应用程序数目，而最大值则由此参数决定。 比如，假设此参数的值设置为25。当两个用户向该队列提交应用程序时，每个用户可使用资源量不能超过50%，如果三个用户提交应用程序，则每个用户可使用资源量不能超过33%，如果四个或者更多用户提交应用程序，则每个用户可用资源量不能超过25%。
     用户资源上限因子	10	表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。
     状态	-	表示资源计划当前的状态。
     默认资源池	default	表示队列使用的资源池。默认为“default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。

   • MRS 3.x及之后版本：

     表2 队列配置参数

     参数名	示例	描述
     AM最多占有资源（%）	10	表示当前队列内所有Application Master所占的最大资源百分比。
     每个YARN容器最多分配核数	-1	表示当前队列内单个YARN容器可分配的最多核数，默认为-1，表示取值范围内不限制。
     每个YARN容器最大分配内存（MB）	-1	表示当前队列内单个YARN容器可分配的最大内存，默认为-1，表示取值范围内不限制。
     最多运行任务数	-1	表示当前队列最多同时可执行任务的数目，默认为-1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。
     每个用户最多运行任务数	-1	表示每个用户在当前队列中最多同时可执行任务的数目，默认为-1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。
     最多挂起任务数	-1	表示当前队列最多同时可挂起任务的数目，默认为-1，表示取值范围内不限制（为空意义相同），为0表示不可挂起任务。
     资源分配规则	FIFO	表示单个用户任务间的资源分配规则，包括FIFO和FAIR。 一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。
     默认资源标签	-	表示在指定资源标签（Label）的节点上执行任务。 说明： 如果需要使用新的资源池，需要修改默认标签为新的资源池标签。
     跨资源池调度	-	表示当前队列内Container是否支持跨资源池调度。（仅MRS 3.3.0及之后版本支持配置该参数） default队列不支持开启跨资源池调度。
     AM跨资源池调度	-	表示当前队列内Application Master是否支持跨资源池调度。（仅MRS 3.3.0及之后版本支持配置该参数） default队列不支持开启AM跨资源池调度。
     Active状态	ACTIVE	ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务，若提交任务，任务将处于挂起状态。
     Open状态	OPEN	OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态，若提交任务，任务直接会被拒绝。

通过Manager配置租户队列

MRS 3.x及之后版本集群：

1. 在FusionInsight Manager，单击“租户资源”。
2. 单击“动态资源计划”页签。
3. 单击“队列配置”页签。
4. 在指定租户资源名的“操作”列，单击“修改”。根据当前使用的调度器类型，修改对应参数。
   

   • 新安装集群的Yarn组件默认使用Superior调度器。也可以参考切换MRS租户资源调度器切换调度器。
   • 调度器类型可登录Manager，在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler.class”参数进行查询。
   • 在“租户资源管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击“队列配置（队列名）”后面的也能打开修改队列配置页面。
   • 一个队列只能绑定一个非default资源池，即新添加的资源池只能绑定一个队列，作为这个队列的默认资源池。
   • 对于“每个YARN容器最多分配核数”、“每个YARN容器最大分配内存（MB）”、“最多运行任务数”、“每个用户最多运行任务数”和“最多挂起任务数”等参数，为便于操作，当子租户值为-1时，父租户值可以设置为具体限制值；当父租户设置为具体限制值时，子租户可以设置为-1。
   • “每个YARN容器最多分配核数”和“每个YARN容器最大分配内存（MB）”需要同时修改为非-1的值才会生效。
   • 对于开启了跨资源池调度的队列，在作业运行过程中不能删除已有资源池，否则可能会导致运行中的作业申请不到资源而持续阻塞。同样如果在作业运行过程中为队列配置新的资源池，那么此时已经处于运行状态的队列可能不能立即使用到新资源池的资源，新增的资源仅对修改后提交的作业有效。
   • 使用Superior调度器集群请参考下表为子租户配置属性。

     表3 队列配置参数

     参数名	示例	描述
     AM最多占有资源（%）	10	表示当前队列内所有Application Master所占的最大资源百分比。
     每个YARN容器最多分配核数	-1	表示当前队列内单个YARN容器可分配的最多核数，默认为-1，表示取值范围内不限制。
     每个YARN容器最大分配内存（MB）	-1	表示当前队列内单个YARN容器可分配的最大内存，默认为-1，表示取值范围内不限制。
     最多运行任务数	-1	表示当前队列最多同时可执行任务的数目，默认为-1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。
     每个用户最多运行任务数	-1	表示每个用户在当前队列中最多同时可执行任务的数目，默认为-1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。
     最多挂起任务数	-1	表示当前队列最多同时可挂起任务的数目，默认为-1，表示取值范围内不限制（为空意义相同），为0表示不可挂起任务。
     资源分配规则	FIFO	表示单个用户任务间的资源分配规则，包括FIFO和FAIR。 一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。
     默认资源标签	-	表示在指定资源标签（Label）的节点上执行任务。 说明： 如果需要使用新的资源池，需要修改默认标签为新的资源池标签。
     跨资源池调度	-	表示当前队列内Container是否支持跨资源池调度。（仅MRS 3.3.0及之后版本支持配置该参数） default队列不支持开启跨资源池调度。
     AM跨资源池调度	-	表示当前队列内Application Master是否支持跨资源池调度。（仅MRS 3.3.0及之后版本支持配置该参数） default队列不支持开启AM跨资源池调度。
     Active状态	ACTIVE	ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务，若提交任务，任务将处于挂起状态。
     Open状态	OPEN	OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态，若提交任务，任务直接会被拒绝。

   • 使用Capacity调度器集群，“租户资源名（队列）”为租户及队列名称，然后参考下表为子租户配置属性。

     表4 队列配置参数

     参数名	示例	描述
     最大应用数量	10	表示最大应用程序数量。
     AM最大资源百分比	10	表示集群中可用于运行Application Master的最大资源占比。
     用户资源最小上限百分比 (%)	25	表示用户使用的最小资源上限百分比。 任何时刻，一个队列中每个用户可使用的资源量均有一定的限制。当一个队列中同时运行多个用户的应用程序时，每个用户的使用资源量在一个最小值和最大值之间浮动，其中，最小值取决于正在运行的应用程序数目，而最大值则由此参数决定。 比如，假设此参数的值设置为25。当两个用户向该队列提交应用程序时，每个用户可使用资源量不能超过50%，如果三个用户提交应用程序，则每个用户可使用资源量不能超过33%，如果四个或者更多用户提交应用程序，则每个用户可用资源量不能超过25%。
     用户资源上限因子	10	表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。
     状态	-	表示资源计划当前的状态。
     默认资源池	default	表示队列使用的资源池。默认为“default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。

5. 单击“确定”完成配置。

MRS 2.x及之前版本集群：

1. 在MRS Manager，单击“租户管理”。
2. 单击“动态资源计划”页签。
3. 单击“队列配置”页签。
4. 在租户队列表格，指定租户队列的“操作”列，单击“修改”。
   

   在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击编辑按钮也能打开修改队列配置页面。

   表5 队列配置参数

   参数名	示例	描述
   最大应用数量	10	表示最大应用程序数量。
   AM最大资源百分比	10	表示集群中可用于运行Application Master的最大资源占比。
   用户资源最小上限百分比 (%)	25	表示用户使用的最小资源上限百分比。 任何时刻，一个队列中每个用户可使用的资源量均有一定的限制。当一个队列中同时运行多个用户的应用程序时，每个用户的使用资源量在一个最小值和最大值之间浮动，其中，最小值取决于正在运行的应用程序数目，而最大值则由此参数决定。 比如，假设此参数的值设置为25。当两个用户向该队列提交应用程序时，每个用户可使用资源量不能超过50%，如果三个用户提交应用程序，则每个用户可使用资源量不能超过33%，如果四个或者更多用户提交应用程序，则每个用户可用资源量不能超过25%。
   用户资源上限因子	10	表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。
   状态	-	表示资源计划当前的状态。
   默认资源池	default	表示队列使用的资源池。默认为“default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。