管理轻量算力集群节点

场景描述

在集群资源管理场景中，节点作为基础组成单元需要高效运维。为解决节点操作分散、资源信息查询不便等问题，ModelArts在资源池详情页提供"节点管理"页签，支持通过该页签执行节点删除、重置、续费等全生命周期管理操作。系统通过交互优化设计，当用户将鼠标悬停在节点名称时，自动显示资源ID，该标识符可直接用于账单查询或费用中心的包周期资源计费信息追溯，实现资源操作与计费管理的无缝衔接，显著提升运维效率与资源追溯能力。

查看节点详情

在资源池详情页，切换到“节点管理”页签。

• 您可以查看资源池中所有的节点，并且能查看每个节点资源占用的情况。将鼠标悬停在节点名称上方时，会显示节点名称和资源ID，资源ID可用于查询账单或者在费用中心查询包周期资源的计费信息。
• 在节点的搜索栏，支持通过名称、节点状态、批次、节点池、驱动版本、驱动状态、IP地址、支持GPU虚拟化和资源标签等关键字过滤搜索。
  

  • 由于集群组件会占用一部分资源，所以列表中CPU（可用/总数）呈现的资源数量不代表该节点物理资源数量，仅表示可被业务使用到的资源量。其中，CPU核数为微核，1000微核=1物理核。
  • NPU/GPU设备数（可用/可分配/总数）：
    • 可用指当前健康、可被调度的数量。可分配数指资源的可用额度，表示可被任务调度的逻辑数量。总数指资源的上限，表示资源的全部数量。
    • 若资源池已开启虚拟切分，则“可用”等于切分后的虚拟卡数，“总数”为实际的物理卡总数。此时会按照“可用数”总和进行排序。

• 支持对多节点批量进行删除、退订、重启、重置等操作，以及对节点批量添加、重置、删除资源标签等操作。

  在单个节点的操作列中，支持对节点进行删除、修复、重置、重启等操作。

• 支持导出专属资源池的节点信息到Excel表格中，方便查阅。勾选节点名称，在节点列表上方单击“导出 > 导出全部数据到XLSX”或者“导出 > 导出部分数据到XLSX”，在浏览器的下载记录中查看导出的Excel表格。

删除/退订/释放节点

• 如果是“按需计费”的资源池，您可在详情的“节点管理”页签中，单击操作列的“删除”，在文本框中输入“DELETE”，单击“确定”，确认删除，即可实现对单个节点的资源释放。

  如果想批量删除节点，勾选待删除节点名称前的复选框，然后单击名称上方的“删除”，在文本框中输入“DELETE”，单击“确定”，确认删除，即可实现对多个节点的资源释放。

• 如果是“包年/包月”且资源未到期的资源池，您可单击操作列的“退订”，即可实现对节点的资源释放。支持批量退订节点。
• 如果是“包年/包月”且资源到期的资源池（处于宽限期），您可单击操作列的“释放”，即可实现对单个节点的资源释放。不支持批量释放处于宽限期的节点。
• 过期节点不支持退订操作，仅支持释放资源。如果是“包年/包月”且资源过期的节点，您可单击“前往释放”，完成资源释放。

  部分“包年/包月”节点会出现“删除”按钮，原因是该节点为存量节点，单击“删除”即可实现节点的资源释放。

开启/关闭删除锁

为了防止节点被误删除或退订，您可以根据业务对节点开启删除锁。开启删除锁的节点将无法正常使用删除/退订功能，需要关闭删除锁才可以进行删除/退订。

• 仅支持对资源池中的节点开启删除锁功能进行节点保护，暂不支持对未纳管到资源池中的游离节点开启删除锁功能。
• 开启删除锁功能仅对节点删除/退订操作进行限制，重启节点、重置节点等其他操作不受限制，删除包含开启删除锁节点的资源池操作也不受限制。

• 开启删除锁：单击操作列的“更多>开启删除锁”，在对话框中确认即将开启删除锁的节点信息，确认完后在文本框输入“YES”，单击“确定”，即可对节点开启删除锁。

  如果想批量对多个节点开启删除锁，勾选待开启删除锁的节点名称前的复选框，然后单击名称上方的“更多>开启删除锁”，即可实现对多个节点开启删除锁。

• 关闭删除锁：单击操作列的“更多>关闭删除锁”，在对话框中确认即将关闭删除锁的节点信息，确认完后在文本框输入“YES”，单击“确定”，即可对节点关闭删除锁。

  如果想批量对多个节点关闭删除锁，勾选待关闭删除锁的节点名称前的复选框，然后单击名称上方的“更多>关闭删除锁”，即可关闭多个节点的删除锁。

查询插件组件

在资源池详情页面的“节点管理”页签，可以查看当前节点的插件资源占用情况。

单击节点操作列的“更多 > 查询插件组件”，可在“组件列表”弹框中查看与插件相关的实例资源占用情况。

图1 组件列表

续费/开通自动续费/修改自动续费

对于包年/包月的节点，在“节点管理”页签中提供了续费、开通自动续费和修改自动续费功能，并支持对多个节点进行批量操作。

自动续费时系统从可用余额扣款，详情请见自动续费。

重置节点

“节点管理”页签中提供节点重置的功能。单击操作列的“更多 > 重置”，可实现对单个节点的重置。勾选多个节点的复选框，单击节点列表上方的“更多 > 重置”按钮，可实现对多个节点的重置。当勾选多个节点进行重置时，需要确保所勾选的节点均为同一节点池内的子节点且均为规格相同才行。

• 重置节点将影响相关业务的运行，该机型若存在磁盘，则磁盘上的数据会被清除，不可恢复，请谨慎操作。
• 如果工作节点在ECS侧自行挂载了数据盘，则在重置节点前需先卸载该磁盘。节点重置后，原有的挂载信息将被清除，需重新在ECS 侧为该节点挂载原数据盘。
• 在EVS侧增加、删除、扩容EVS盘后， 如果进行节点重置，会导致节点重置失败且节点状态异常，请谨慎操作。
• 节点状态为“可用”或“不可用”的节点才能进行重置。
• 同一时间单个节点只能处于一个重置任务中，无法对同一个节点同时下发多个重置任务。
• 当节点池处于驱动升级状态时，该节点池中的节点无法进行重置节点操作。
• 节点重置成功后，可能出现短暂不可用现象，是正在拉起业务服务及健康检查，请耐心等待。
• GPU和NPU规格，重置节点完成后，节点可能会出现驱动升级的现象，请耐心等待。

下发重置节点任务时需要填写以下参数。

图2 重置节点

单击“操作记录”可查看当前资源池重置节点的操作记录。重置中节点状态为“重置中”，重置成功后，节点状态变为“可用”。重置节点操作不会收取费用。

图3 操作记录

节点排水

节点排水通常指在集群管理中，将某个节点上的工作负载（如Pods）安全地迁移到其他节点上，并将该节点标记为不可调度状态的过程。您可以通过控制台使用节点排水功能，安全地将节点上的Pod驱逐，后续新建的Pod都不会再调度到该节点。

在节点故障等场景下，节点排水功能可帮助您快速排空节点，将故障节点进行隔离，原节点上被驱逐的Pod将会由工作负载controller转移到其他正常可调度的节点上。

仅当节点状态为“可用-可调度”状态，才能执行节点排水操作。

排水过程中节点不可用，且节点上的作业负载会被驱逐，可能导致作业失败。

1. 登录ModelArts管理控制台，在左侧菜单栏中选择“资源管理 > 轻量算力资源 > 轻量算力集群”，进入“轻量算力集群”页面。
2. 在资源池列表中，单击某一资源池名称，进入资源池详情页。
3. 在资源池详情页“节点管理”页签，根据业务选择节点排水。
   • 单节点排水：单击操作列的“更多 >节点排水”。
   • 批量节点排水：勾选多个节点，单击节点列表上方的“更多>节点排水”。
4. 在弹窗确认待排水的节点信息和节点正在运行的作业，单击“一键输入”，在输入框中输入YES，单击“确定”。

   当节点状态为“可用-排水成功”时，表示排水作业已完成。

   当节点状态为“可用-排水失败”时，可将鼠标悬停在节点状态，查看失败原因。

   图4 节点排水
   

重启节点

在“节点管理”中节点的操作列，选择“更多>重启”，支持重启单个节点。也可以勾选节点名称，在节点列表上方单击“重启”，进行批量重启节点操作。重启节点将影响相关业务的运行，请谨慎操作。

添加/重置/删除资源标签

资源标签用于方便管理资源的计费账单。

在节点的操作列，选择“更多 > 编辑资源标签”，支持编辑单个节点的资源标签。

也可以勾选节点名称，在节点列表上方单击“更多 > 资源标签管理”，批量操作节点资源标签。

图5 添加/编辑/删除资源标签

导出节点数据

支持导出轻量算力集群的节点信息到Excel表格中，方便查阅。

勾选节点名称，在节点列表上方单击“导出 > 导出全部数据到XLSX”或者“导出 > 导出已选中的数据到XLSX”，在浏览器的下载记录中查看导出的Excel表格。

驱动升级

支持升级轻量算力集群内单个节点驱动版本，或批量升级多个节点的驱动版本。详情请参见升级轻量算力集群单个节点驱动章节。

设置节点列表显示信息

在节点管理页面中，单击右上角的设置图标，支持对节点列表中显示的信息进行自定义。

常见问题

重置节点后无法正常使用？

当ModelArts 轻量算力集群的CCE集群在资源池上只有一个节点，且用户设置了volcano为默认调度器时，在ModelArts侧进行重置节点的操作后，节点无法正常使用，节点上的POD会调度失败。

具体原因分析和处理方法请见重置节点后无法正常使用？。