管理专属资源池的资源队列

场景描述

在ModelArts专属资源池管理场景中，用户需要通过拆分资源队列实现资源的精细化分配，但传统手动调整资源配额的方式存在操作繁琐、资源利用率低等问题。为此，ModelArts提供资源队列管理功能，支持用户在资源池详情页的"资源队列"页签中，通过"创建资源队列"按钮建立多个队列，并为每个队列配置保障配额（最低资源保障）和配额上限（最大资源限制）。所有训练、推理及开发环境任务必须绑定指定资源队列运行，系统将自动校验任务是否符合目标队列的配额约束。用户可通过资源队列列表页执行配额管理、作业类型配置及删除操作，当需要调整资源分配时，可删除低优先级队列并将其资源配额转移至目标队列进行扩容，从而实现资源的动态再分配和高效利用。

查看资源队列列表和详情

登录ModelArts管理控制台ModelArts管理控制台，在左侧菜单栏中选择“资源管理 > 专属算力资源 > 资源队列”。
在“资源队列”列表页，用户可快速查看资源队列的基本信息，包括保障配额和最大配额、任务负载信息，也可以进行部分管理操作。
- 通过搜索框，支持根据资源队列的名称、ID、状态、标签进行搜索。
- 单击资源队列右侧的“预热任务”可快速进入“预热”页签。进行查看和添加预热任务。
- 单击某一资源队列右侧可进行设置作业类型、工作空间迁移、删除等操作。
- 单击右上角“导出”可导出资源队列的列表。
在资源队列列表中，单击某一资源队列名称，进入资源队列详情页，查看资源队列的概览（基本信息与作业列表）、事件、节点（需开启绑定资源队列）、规格、预热。单击可切换具体页签查看详细内容。
- 可在概览的基本信息中单击名称、描述后的，对内容进行编辑修改。
- 在详情页中，在右上角可进行设置作业类型、工作空间迁移、删除、刷新等操作。
- 在同工作空间下，可单击“基本信息”的“父池ID”中，跳转关联的资源池。
- 可在基本信息中对标签进行编辑、查看、添加、修改、删除资源池的标签信息。
  
  最多支持添加20个标签。

创建资源队列

在资源池列表中，单击某一资源池名称，进入资源池详情页。
在资源池详情页，切换到“资源队列”页签。单击右侧“创建资源队列”。

在右侧弹窗中填写信息，然后单击“确定”创建资源队列。

当物理资源池中存在运行中的业务负载，需要先停止资源池下所有业务、删除所有Notebook实例再创建资源队列。

创建资源队列后，如果资源队列需要绑定物理池节点，请开启专属资源池节点绑定。

表1 创建资源队列参数说明
参数	说明
名称	资源队列名称。
标签	单击“添加标签”，可以为专属资源池配置标签信息，通过标签实现资源的分组管理。也可以在创建完成后的专属资源池详情页面中通过“标签”页签设置标签信息。此处的标签信息可以同步标签管理服务TMS中预定义的标签信息，也可以输入自定义标签。 TMS预定义标签对所有支持标签功能的服务资源可见。自定义标签只对自己服务可见。最多添加20个标签。
描述（可选）	资源队列的简单描述。长度范围0-100个字符。
工作空间	资源队列所在工作空间。
作业类型	资源队列支持运行的作业类型，必须是物理专属资源池中支持的作业类型。
实例规格管理	针对资源队列的实例规格设置如下参数，ModelArts平台会根据所配置的参数进行资源队列的任务调度。单实例节点规模（台）：每次调整保障配额时的最小单位。在节点绑定场景下每个单实例节点规模（台）内的节点将作为一个整体，且属于同一批次。仅超节点和整柜节点才有单实例节点规模（台）。在超节点场景下，允许创建的资源队列单实例节点规模（台）比物理池单实例节点规模（台）小。资源队列创建后不可修改单实例节点规模（台），请根据需要设置合理单实例节点规模（台）。保障配额：资源队列拥有的最小资源量，可以设置为0。配额上限：资源队列拥有的最大资源量，必须大于等于保障配额，输入值不能小于1。当保障配额＜配额上限时，即使物理专属资源池支持“开发环境”，“作业类型”也不支持选择“开发环境”。任务调度规则：所需资源量 ≤ 保障配额的作业可以保障资源占用。所需资源量 > 保障配额且 ≤ 配额上限的作业，在资源充足时可以调度，资源不足时会被抢占。

创建完成后，可在列表中查看已创建的资源队列。

扩缩容资源队列

针对已创建的资源队列，单击操作列“配额管理”，在右侧抽屉中重新设置实例规格管理，单击“确定”。

如果是开启节点绑定的资源队列，扩缩容时需要确认是否进行节点排水。节点排水通常指的是清空节点资源以便释放或移除不再需要的节点。

启用节点排水后将会对扩缩容的节点进行排水，仅本次扩缩容操作生效。可前往节点页签查看排水状态，如果排水失败，可将鼠标移至节点状态查看排水失败原因。

排水过程中节点会被设置为不可调度，节点上的作业负载会被驱逐，可能导致作业失败。

设置资源队列作业类型

针对已创建的资源队列，单击操作列的“更多 > 设置作业类型”，在右侧抽屉中设置当前资源队列的作业类型，确认后，单击“确定”。

更改已设置的作业类型可能会导致：开发环境实例被删除、正在运行的训练作业失败、正在运行的推理服务失败。

删除资源队列

针对已创建的资源队列，单击操作列的“... > 删除”，在右侧抽屉的输入框中输入DELETE，单击“确定”。

开启/关闭专属资源池节点绑定

当资源池下已创建资源队列，支持开启节点绑定，为资源队列绑定专属的节点。

开启节点绑定后，系统会自动绑定相应数量的专属节点，任务只能在这些绑定的节点上运行，确保资源专有性和稳定性。主要适用于需要高资源保障和稳定性的任务场景。

节点绑定作用如下：

提高任务稳定性：通过绑定特定节点，任务不会因节点动态分配而中断，确保任务的连续性和稳定性。
资源保障：绑定节点后，任务可以独占绑定的节点资源，避免与其他任务竞争资源。
优化资源利用率：通过合理分配节点资源，可以提高整体资源利用率，避免资源浪费。

开启节点绑定

开启节点绑定后，服务后台会为资源队列自动绑定节点。

在“资源池列表”中，选择某个资源池右侧操作列的“ > 开启节点绑定”。
在“开启节点绑定”弹窗中，单击“确定”。

专属资源池开启节点绑定后，资源池内的节点支持添加节点和移除节点。

关闭节点绑定

关闭节点绑定功能可能会导致原资源队列上的作业被抢占，请谨慎操作。

在资源池列表中，选择某个资源池右侧操作列的“ > 节点管理 > 关闭节点绑定”。
在“关闭节点绑定”弹窗中，确认信息，并在文本框中输入“YES”，单击“确定”。

添加节点

添加节点功能可以往目标资源队列中添加节点，被添加的节点来源可以是物理池的未绑定的节点，也可以是其他资源队列中已经被绑定的节点。

前提条件
 需要先开启专属资源池节点绑定。
约束限制
1. 当节点状态处于创建中、删除中及创建失败时，不支持节点添加。
2. 当物理池的规格使用的是超节点规格，则资源队列的节点会有以下限制。添加的节点需要满足约束，如果节点来源是资源队列，那资源队列剩余的节点也需满足约束。
  - 数量限制：
    所选的节点的数量需要是目标资源队列单实例节点规模的整数倍。
  - 分布限制：
    所选的节点的分布需要满足如下约束。
    
    Snt9b23超节点：每个单实例的节点来源需要是物理池的单实例内。
操作流程
1. 登录ModelArts管理控制台，在左侧菜单栏中选择“资源管理 > 专属算力资源 > 资源池”。
2. 选定需要添加节点的资源池，在右侧“ > 节点管理 > 添加节点”，进入添加页面。
3. 选择需要添加的资源队列，单击“确定”进入添加节点页面。
4. 选择节点来源、节点后，单击下一步，在变更确认界面确认变更内容无误后，单击“确定”。
5. 添加完成后，可以在资源池详情中的节点页签中查看新添加节点。

移除节点

移除节点功能可以将目标资源队列中的节点移除，释放的节点将合并入物理池中未绑定的节点中。

前提条件
 需要先开启专属资源池节点绑定。
约束限制
1. 当节点状态处于创建中、删除中及创建失败时，不支持节点移除。
2. 资源队列的驱动版本和节点驱动不匹配时，节点驱动会自动升级导致节点运行中的业务中断，请谨慎操作。
3. 移除节点后，资源队列剩下的节点也需要满足添加节点中的相关约束条件。
  - 数量限制：
    所选的节点的数量需要是目标资源队列单实例节点规模的整数倍。
  - 分布限制：
    所选的节点的分布需要满足如下约束。
    
    Snt9b23超节点：每个单实例的节点来源需要是物理池的单实例内。
操作流程
1. 登录ModelArts管理控制台，在左侧菜单栏中选择“资源管理 > 专属算力资源 > 资源池”。
2. 在选定需要移除节点的资源池，在右侧“ > 节点管理 > 移除节点”，选择需要移除的资源队列，单击“确定”进入移除节点页面。
3. 选择需要移除的资源队列信息、节点后，单击下一步，在变更确认界面确认变更内容无误后，单击“确定”。
4. 移除完成后，可以在资源池详情中的节点页签中查看结果。