更新时间:2024-11-29 GMT+08:00

配置队列

操作场景

根据业务需求,管理员可以在FusionInsight Manager修改指定租户的队列配置。

前提条件

已添加使用Superior调度器的租户。

操作步骤

  1. 在FusionInsight Manager,单击“租户资源”。
  2. 单击“动态资源计划”页签。
  3. 单击“队列配置”页签。
  4. 在指定租户资源名的“操作”列,单击“修改”。

    • 在“租户资源管理”页签左侧租户列表,单击目标的租户,切换到“资源”页签,单击“队列配置(队列名)”后面的也能打开修改队列配置页面。
    • 一个队列只能绑定一个非default资源池。
    • 对于“每个YARN容器最多分配核数”、“每个YARN容器最大分配内存(MB)”、“最多运行任务数”、“每个用户最多运行任务数”和“最多挂起任务数”等参数,为便于操作,当子租户值为-1时,父租户值可以设置为具体限制值;当父租户设置为具体限制值时,子租户可以设置为-1。
    • “每个YARN容器最多分配核数”和“每个YARN容器最大分配内存(MB)”需要同时修改为非-1的值才会生效。
    • 对于开启了跨资源池调度的队列,在作业运行过程中不能删除已有资源池,否则可能会导致运行中的作业申请不到资源而持续阻塞。同样如果在作业运行过程中为队列配置新的资源池,那么此时已经处于运行状态的队列可能不能立即使用到新资源池的资源,新增的资源仅对修改后提交的作业有效。
    表1 队列配置参数

    参数名

    描述

    AM最多占有资源(%)

    表示当前队列内所有Application Master所占的最大资源百分比。

    每个YARN容器最多分配核数

    表示当前队列内单个YARN容器可分配的最多核数,默认为-1,表示取值范围内不限制。

    每个YARN容器最大分配内存(MB)

    表示当前队列内单个YARN容器可分配的最大内存,默认为-1,表示取值范围内不限制。

    最多运行任务数

    表示当前队列最多同时可执行任务的数目,默认为-1,表示取值范围内不限制(为空意义相同),为0表示不可执行任务。取值范围为-1~2147483647。

    每个用户最多运行任务数

    表示每个用户在当前队列中最多同时可执行任务的数目,默认为-1,表示取值范围内不限制(为空意义相同),为0表示不可执行任务。取值范围为-1~2147483647。

    最多挂起任务数

    表示当前队列最多同时可挂起任务的数目,默认为-1,表示取值范围内不限制(为空意义相同),为0表示不可挂起任务。取值范围为-1~2147483647。

    资源分配规则

    表示单个用户任务间的资源分配规则,包括FIFO和FAIR。

    一个用户若在当前队列上提交了多个任务,FIFO规则代表一个任务完成后再执行其他任务,按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。

    默认资源标签

    表示在指定资源标签(Label)的节点上执行任务。

    跨资源池调度

    表示当前队列内Container是否支持跨资源池调度。

    default队列不支持开启跨资源池调度。

    AM跨资源池调度

    表示当前队列内Application Master是否支持跨资源池调度。

    default队列不支持开启AM跨资源池调度。

    Active状态

    • ACTIVE表示当前队列可接受并执行任务。
    • INACTIVE表示当前队列可接受但不执行任务,若提交任务,任务将处于挂起状态。

    Open状态

    • OPEN表示当前队列处于打开状态。
    • CLOSED表示当前队列处于关闭状态,若提交任务,任务直接会被拒绝。

    故障时是否队列迁移

    集群开启单集群跨AZ高可用时,如果AZ故障后,需要当该租户正在运行的队列重新提交至其他AZ,可设置“故障时是否队列迁移”参数为“是”。

  5. 单击“确定”完成配置。