# 管理专属资源池的资源队列 #### 场景描述 在ModelArts专属资源池管理场景中，用户需要通过拆分资源队列实现资源的精细化分配，但传统手动调整资源配额的方式存在操作繁琐、资源利用率低等问题。为此，ModelArts提供资源队列管理功能，支持用户在资源池详情页的"资源队列"页签中，通过"创建资源队列"按钮建立多个队列，并为每个队列配置保障配额（最低资源保障）和配额上限（最大资源限制）。所有训练、推理及开发环境任务必须绑定指定资源队列运行，系统将自动校验任务是否符合目标队列的配额约束。用户可通过资源队列列表页执行配额管理、作业类型配置及删除操作，当需要调整资源分配时，可删除低优先级队列并将其资源配额转移至目标队列进行扩容，从而实现资源的动态再分配和高效利用。 #### 查看资源队列列表和详情 1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)ModelArts管理控制台，在左侧菜单栏中选择"资源管理 \> 专属算力资源 \> 资源队列"。 2. 在"资源队列"列表页，用户可快速查看资源队列的基本信息，包括保障配额和最大配额、任务负载信息，也可以进行部分管理操作。 - 通过搜索框，支持根据资源队列的名称、ID、状态、标签进行搜索。 - 单击资源队列右侧的"预热任务"可快速进入"预热"页签。进行查看和添加预热任务。 - 单击某一资源队列右侧![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000002531506856.png)可进行设置作业类型、工作空间迁移、删除等操作。 - 单击右上角"导出"可导出资源队列的列表。 3. 在资源队列列表中，单击某一资源队列名称，进入资源队列详情页，查看资源队列的概览（基本信息与作业列表）、事件、节点（需开启绑定资源队列）、规格、预热。单击可切换具体页签查看详细内容。 - 可在概览的基本信息中单击名称、描述后的![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000002558546571.png)，对内容进行编辑修改。 - 在详情页中，在右上角可进行设置作业类型、工作空间迁移、删除、刷新等操作。 - 在同工作空间下，可单击"基本信息"的"父池ID"中，跳转关联的资源池。 - 可在基本信息中对标签进行编辑、查看、添加、修改、删除资源池的标签信息。 ![](https://support.huaweicloud.com/usermanual-standard-modelarts/public_sys-resources/note_3.0-zh-cn.png) 最多支持添加20个标签。 #### 创建资源队列 1. 在资源池列表中，单击某一资源池名称，进入资源池详情页。 2. 在资源池详情页，切换到"资源队列"页签。单击右侧"创建资源队列"。 3. 在右侧弹窗中填写信息，然后单击"确定"创建资源队列。 ![](https://support.huaweicloud.com/usermanual-standard-modelarts/public_sys-resources/note_3.0-zh-cn.png) 当物理资源池中存在运行中的业务负载，需要先停止资源池下所有业务、删除所有Notebook实例再创建资源队列。 创建资源队列后，如果资源队列需要绑定物理池节点，请[开启专属资源池节点绑定]。 表1创建资源队列参数说明 | 参数 | 说明 | |:---|:---| | 名称 | 资源队列名称。 | | 标签 | 单击"添加标签"，可以为专属资源池配置标签信息，通过标签实现资源的分组管理。也可以在创建完成后的专属资源池详情页面中通过"标签"页签设置标签信息。此处的标签信息可以同步标签管理服务TMS中预定义的标签信息，也可以输入自定义标签。 TMS预定义标签对所有支持标签功能的服务资源可见。自定义标签只对自己服务可见。 最多添加20个标签。 | | 描述（可选） | 资源队列的简单描述。 长度范围0-100个字符。 | | 工作空间 | 资源队列所在工作空间。 | | 作业类型 | 资源队列支持运行的作业类型，必须是物理专属资源池中支持的作业类型。 | | 实例规格管理 | 针对资源队列的实例规格设置如下参数，ModelArts平台会根据所配置的参数进行资源队列的任务调度。 - 单实例节点规模（台）：每次调整保障配额时的最小单位。在节点绑定场景下每个单实例节点规模（台）内的节点将作为一个整体，且属于同一批次。仅超节点和整柜节点才有单实例节点规模（台）。在超节点场景下，允许创建的资源队列单实例节点规模（台）比物理池单实例节点规模（台）小。 资源队列创建后不可修改单实例节点规模（台），请根据需要设置合理单实例节点规模（台）。 - 保障配额：资源队列拥有的最小资源量，可以设置为0。 - 配额上限：资源队列拥有的最大资源量，必须大于等于保障配额，输入值不能小于1。 **当保障配额＜配额上限时，即使物理专属资源池支持"开发环境"，"作业类型"也不支持选择"开发环境"。** 任务调度规则： - 所需资源量 ≤ 保障配额的作业可以保障资源占用。 - 所需资源量 \> 保障配额且 ≤ 配额上限的作业，在资源充足时可以调度，资源不足时会被抢占。 | 4. 创建完成后，可在列表中查看已创建的资源队列。 #### 扩缩容资源队列 针对已创建的资源队列，单击操作列"配额管理"，在右侧抽屉中重新设置实例规格管理，单击"确定"。 如果是开启节点绑定的资源队列，扩缩容时需要确认是否进行节点排水。节点排水通常指的是清空节点资源以便释放或移除不再需要的节点。 启用节点排水后将会对扩缩容的节点进行排水，仅本次扩缩容操作生效。可前往节点页签查看排水状态，如果排水失败，可将鼠标移至节点状态查看排水失败原因。 ![](https://support.huaweicloud.com/usermanual-standard-modelarts/public_sys-resources/warning_3.0-zh-cn.png) 排水过程中节点会被设置为不可调度，节点上的作业负载会被驱逐，可能导致作业失败。 #### 设置资源队列作业类型 针对已创建的资源队列，单击操作列的"更多 \> 设置作业类型"，在右侧抽屉中设置当前资源队列的作业类型，确认后，单击"确定"。 ![](https://support.huaweicloud.com/usermanual-standard-modelarts/public_sys-resources/warning_3.0-zh-cn.png) 更改已设置的作业类型可能会导致： 开发环境实例被删除、正在运行的训练作业失败、正在运行的推理服务失败。 #### 删除资源队列 针对已创建的资源队列，单击操作列的"... \> 删除"，在右侧抽屉的输入框中输入DELETE，单击"确定"。 #### 开启/关闭专属资源池节点绑定 当资源池下已创建资源队列，支持开启节点绑定，为资源队列绑定专属的节点。 开启节点绑定后，系统会自动绑定相应数量的专属节点，任务只能在这些绑定的节点上运行，确保资源专有性和稳定性。主要适用于需要高资源保障和稳定性的任务场景。 节点绑定作用如下： - 提高任务稳定性：通过绑定特定节点，任务不会因节点动态分配而中断，确保任务的连续性和稳定性。 - 资源保障：绑定节点后，任务可以独占绑定的节点资源，避免与其他任务竞争资源。 - 优化资源利用率：通过合理分配节点资源，可以提高整体资源利用率，避免资源浪费。 **开启节点绑定** 开启节点绑定后，服务后台会为资源队列自动绑定节点。 1. 在"资源池列表"中，选择某个资源池右侧操作列的" ![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000002380157304.png)\> 开启节点绑定"。 2. 在"开启节点绑定"弹窗中，单击"确定"。 专属资源池开启节点绑定后，资源池内的节点支持[添加节点]和[移除节点]。 **关闭节点绑定** ![](https://support.huaweicloud.com/usermanual-standard-modelarts/public_sys-resources/warning_3.0-zh-cn.png) 关闭节点绑定功能可能会导致原资源队列上的作业被抢占，请谨慎操作。 1. 在资源池列表中，选择某个资源池右侧操作列的" ![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000002623442967.png)\> 节点管理 \> 关闭节点绑定"。 2. 在"关闭节点绑定"弹窗中，确认信息，并在文本框中输入"YES"，单击"确定"。 #### 添加节点 添加节点功能可以往目标资源队列中添加节点，被添加的节点来源可以是物理池的未绑定的节点，也可以是其他资源队列中已经被绑定的节点。 - 前提条件 需要先[开启专属资源池节点绑定]。 - 约束限制 1. 当节点状态处于创建中、删除中及创建失败时，不支持节点添加。 2. 当物理池的规格使用的是超节点规格，则资源队列的节点会有以下限制。添加的节点需要满足约束，如果节点来源是资源队列，那资源队列剩余的节点也需满足约束。 - 数量限制： 所选的节点的数量需要是目标资源队列单实例节点规模的整数倍。 - 分布限制： 所选的节点的分布需要满足如下约束。 Snt9b23超节点：每个单实例的节点来源需要是物理池的单实例内。 - 操作流程 1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，在左侧菜单栏中选择"资源管理 \> 专属算力资源 \> 资源池"。 2. 选定需要添加节点的资源池，在右侧"![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000002626534744.png) \> 节点管理 \> 添加节点"，进入添加页面。 3. 选择需要添加的资源队列，单击"确定"进入添加节点页面。 4. 选择节点来源、节点后，单击下一步，在变更确认界面确认变更内容无误后，单击"确定"。 5. 添加完成后，可以在资源池详情中的节点页签中查看新添加节点。 #### 移除节点 移除节点功能可以将目标资源队列中的节点移除，释放的节点将合并入物理池中未绑定的节点中。 - 前提条件 需要先[开启专属资源池节点绑定]。 - 约束限制 1. 当节点状态处于创建中、删除中及创建失败时，不支持节点移除。 2. 资源队列的驱动版本和节点驱动不匹配时，节点驱动会自动升级导致节点运行中的业务中断，请谨慎操作。 3. 移除节点后，资源队列剩下的节点也需要满足添加节点中的相关约束条件。 - 数量限制： 所选的节点的数量需要是目标资源队列单实例节点规模的整数倍。 - 分布限制： 所选的节点的分布需要满足如下约束。 Snt9b23超节点：每个单实例的节点来源需要是物理池的单实例内。 - 操作流程 1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，在左侧菜单栏中选择"资源管理 \> 专属算力资源 \> 资源池"。 2. 在选定需要移除节点的资源池，在右侧"![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000002656783363.png) \> 节点管理 \> 移除节点"，选择需要移除的资源队列，单击"确定"进入移除节点页面。 3. 选择需要移除的资源队列信息、节点后，单击下一步，在变更确认界面确认变更内容无误后，单击"确定"。 4. 移除完成后，可以在资源池详情中的节点页签中查看结果。