更新时间:2024-11-12 GMT+08:00

配置资源池的队列容量策略

添加资源池后,需要为YARN任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后,YARN任务队列与资源池形成关联关系。

该任务指导用户通过MRS配置队列策略。

前提条件

  • 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)
  • 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager
  • 已添加资源池。
  • 任务队列与其他资源池无关联关系,除了默认的“default”资源池。

通过管理控制台配置队列容量策略

  1. 登录MRS管理控制台。
  2. 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
  3. 在集群详情页,单击“租户管理”。
  4. 单击“资源分布策略”页签。
  5. 在“资源池”选择指定的资源池。

    “可用资源配额”:表示每个资源池默认所有资源都可分配给队列。

  6. 在“资源分配”列表指定队列的“操作”列,单击“修改”
  7. 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。

    • “资源容量 (%)”:表示当前租户计算资源使用的资源百分比。
    • “最大资源容量 (%)”:表示当前租户计算资源使用的最大资源百分比。

  8. 单击“确定”保存配置。

通过Manager配置队列容量策略

MRS 3.x及之后版本集群:

  1. 登录Manager。
  2. 选择租户资源 > 动态资源计划,单击“资源分布策略”页签。
  3. “集群”参数选择待操作的集群名称,然后在“资源池”选择指定的资源池。
  4. 在“资源分配”列表指定队列的“操作”列,单击“修改”。
  5. 修改资源分配。

    • Capacity调度器:
      • “资源容量(%)”:表示当前租户计算资源使用的资源百分比。
      • “最大资源容量(%)”:表示当前租户计算资源使用的最大资源百分比。
    • Superior调度器
      1. 在“修改资源分配”窗口的“资源配置策略”页签设置任务队列在此资源池中的资源配置策略。
        图1 资源配置策略
        • “权重”:在发生资源抢占时,权重越大则会优先抢占资源。其初始值与最小资源百分比值一致。
        • “最小资源”:表示租户能获得的最少资源。
        • “最大资源”:表示租户能获得的最多资源。
        • “预留资源”:表示保留给租户自身队列,且不能借用给其他租户队列的资源。
      2. 在“修改资源分配”窗口的“用户策略”页签设置用户策略。

        defaultUser(built-in)表示如果一个用户未配置策略,则默认使用defaultUser所指定的策略。该策略不可删除。

        • 单击“添加用户策略”添加用户策略。
          • “用户名”:表示用户的名称。
          • “权重”:在发生资源抢占时,权重越大则会优先抢占资源。(MRS 3.5.0之前版本)
          • “优先级”:在发生资源抢占时,优先级越高则会优先抢占资源,但不确保所有的Container都会被启动。(MRS 3.5.0及之后版本)
          • “最多核数”:表示用户最多可以使用的虚拟核数。
          • “最大内存”:表示用户最大可以使用的内存。
        • 单击“操作”列的“修改”修改现有用户策略。
        • 单击“操作”列的“清除”删除现有用户策略。

  6. 单击“确定”保存配置。

MRS 2.x及之前版本集群:

  1. 在MRS Manager,单击“租户管理”。
  2. 单击“动态资源计划”页签。
  3. 在“资源池”选择指定的资源池。

    “可用资源配额”:表示每个资源池默认所有资源都可分配给队列。

  4. 在“资源分配”列表指定队列的“操作”列,单击“修改”
  5. 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。

    • “资源容量 (%)”:表示当前租户计算资源使用的资源百分比。
    • “最大资源容量 (%)”:表示当前租户计算资源使用的最大资源百分比。

  6. 单击“确定”保存配置。