配置资源池的队列容量策略
添加资源池后,需要为YARN任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后,YARN任务队列与资源池形成关联关系。
该任务指导用户通过MRS配置队列策略。
前提条件
- 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
- 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。
- 已添加资源池。
- 任务队列与其他资源池无关联关系,除了默认的“default”资源池。
通过管理控制台配置队列容量策略
- 登录MRS管理控制台。
- 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
- 在集群详情页,单击“租户管理”。
- 单击“资源分布策略”页签。
- 在“资源池”选择指定的资源池。
“可用资源配额”:表示每个资源池默认所有资源都可分配给队列。
- 在“资源分配”列表指定队列的“操作”列,单击“修改”。
- 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。
- “资源容量 (%)”:表示当前租户计算资源使用的资源百分比。
- “最大资源容量 (%)”:表示当前租户计算资源使用的最大资源百分比。
- 单击“确定”保存配置。
通过Manager配置队列容量策略
MRS 3.x及之后版本集群:
- 登录Manager。
- 选择 ,单击“资源分布策略”页签。
- “集群”参数选择待操作的集群名称,然后在“资源池”选择指定的资源池。
- 在“资源分配”列表指定队列的“操作”列,单击“修改”。
- 修改资源分配。
- Capacity调度器:
- “资源容量(%)”:表示当前租户计算资源使用的资源百分比。
- “最大资源容量(%)”:表示当前租户计算资源使用的最大资源百分比。
- Superior调度器:
- 在“修改资源分配”窗口的“资源配置策略”页签设置任务队列在此资源池中的资源配置策略。
图1 资源配置策略
- “权重”:在发生资源抢占时,权重越大则会优先抢占资源。其初始值与最小资源百分比值一致。
- “最小资源”:表示租户能获得的最少资源。
- “最大资源”:表示租户能获得的最多资源。
- “预留资源”:表示保留给租户自身队列,且不能借用给其他租户队列的资源。
- 在“修改资源分配”窗口的“用户策略”页签设置用户策略。
defaultUser(built-in)表示如果一个用户未配置策略,则默认使用defaultUser所指定的策略。该策略不可删除。
- 单击“添加用户策略”添加用户策略。
- “用户名”:表示用户的名称。
- “权重”:在发生资源抢占时,权重越大则会优先抢占资源。(MRS 3.5.0之前版本)
- “优先级”:在发生资源抢占时,优先级越高则会优先抢占资源,但不确保所有的Container都会被启动。(MRS 3.5.0及之后版本)
- “最多核数”:表示用户最多可以使用的虚拟核数。
- “最大内存”:表示用户最大可以使用的内存。
- 单击“操作”列的“修改”修改现有用户策略。
- 单击“操作”列的“清除”删除现有用户策略。
- 单击“添加用户策略”添加用户策略。
- 在“修改资源分配”窗口的“资源配置策略”页签设置任务队列在此资源池中的资源配置策略。
- Capacity调度器:
- 单击“确定”保存配置。
MRS 2.x及之前版本集群:
- 在MRS Manager,单击“租户管理”。
- 单击“动态资源计划”页签。
- 在“资源池”选择指定的资源池。
“可用资源配额”:表示每个资源池默认所有资源都可分配给队列。
- 在“资源分配”列表指定队列的“操作”列,单击“修改”。
- 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。
- “资源容量 (%)”:表示当前租户计算资源使用的资源百分比。
- “最大资源容量 (%)”:表示当前租户计算资源使用的最大资源百分比。
- 单击“确定”保存配置。