更新时间:2026-05-29 GMT+08:00
轻量算力节点健康巡检
场景描述
在日常的运维工作中,运维人员在进行压测、健康检查、故障检测和日志分析等操作时面临诸多不便。为了提升运维效率,本场景中通过轻量算力节点与昇腾云脑的联动,实现对轻量算力节点的全面巡检和管理。通过在轻量算力节点资源管理界面增加“创建巡检作业”按钮,使运维人员能够直接从轻量算力节点页面跳转至昇腾云脑页面,创建并执行巡检作业,从而有效提升系统的运维能力和可靠性。
约束限制
- 当前功能仅支持Snt9b和Snt9b21系列的普通节点、Snt9b23的超节点。
- 轻量算力节点状态处于“运行中”。
前提条件
创建巡检任务的轻量算力节点需要安装NodeTaskHub插件, 请在创建任务前确保插件安装完毕,具体参见安装轻量算力节点AI插件。
创建巡检作业
- 登录ModelArts管理控制台,在左侧导航栏找到资源管理下的轻量算力节点页面。
- 新版控制台:在左侧导航栏中,选择。
- 旧版控制台:在左侧导航栏中,选择。
- 在轻量算力节点“普通节点”的列表页中,单击右侧操作列的,进入创建巡检任务页面,配置参数。
表1 巡检作业配置说明 配置项
参数
说明
基础配置
作业名称
可以自定义填写巡检任务名称。
巡检对象
选择对象
可以选择普通节点、超节点、或整柜节点。在节点列表中勾选待巡检的节点。最多可以选择48个节点下发巡检任务。
巡检类型
标准巡检
分钟级快速巡检,不影响节点上的作业。
深度巡检
小时级巡检,影响节点上的业务。深度巡检任务会长时间占用NPU资源,需要确保巡检期间集群无业务运行。
压测用例配置
NPU性能诊断
通过Bandwidth、Aiflops、眼图测试进行性能诊断。可以选择一个或多个选项进行诊断。
- Bandwidth:对本地带宽进行诊断。
- Aiflops:对芯片进行算力诊断。
- 眼图测试:查询信号质量的具体数据。
NPU压测
通过AI Core、HBM、P2P进行压测。
- AI Core压测:对AI Core ERROR进行压力测试。
- HBM压测:对高带宽内存进行压力测试。
- P2P压测:测试源头Device到目标Device的HCCS通信链路是否存在硬件故障。
网络压测
通过单机HCCL通信带宽测试、多机HCCL带宽测试、RDMA通信带宽测试进行压测。
- 单机HCCL通信带宽测试:在单一计算节点之间进行集合通信性能压测。
- 多机HCCL带宽测试:在多个计算节点之间基线集合通信性能压测。
- RoCE网络带宽测试:两个节点的RoCE网络带宽性能压测。
- 超平面测试:超平面网络集合通信带宽测试。
- 阅读压测须知,输入YES,单击“立即创建”,提交巡检作业。
- 提交巡检作业后,可以在ModelArts控制台的页面查看巡检作业状态和巡检详情。
父主题: 轻量算力节点插件管理