使用CES监控轻量算力节点NPU事件

NPU: npu-smi info查询缺少设备

NPUSMICardNotFound

重要

可能是由于昇腾驱动问题或NPU掉卡

参考文档：

ModelArts故障排除 > 轻量算力节点> NPUSMICardNotFound事件处理建议

NPU卡无法正常使用

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: PCIe链路异常

PCIeErrorFound

重要

lspci显示npu卡处于rev ff状态

参考文档：

ModelArts故障排除 > 轻量算力节点> PCIeErrorFound事件处理建议

NPU卡无法正常使用

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: lspci查询缺少设备

LspciCardNotFound

重要

一般是由于NPU掉卡

参考文档：

ModelArts故障排除 > 轻量算力节点> LspciCardNotFound事件处理建议

NPU卡无法正常使用

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: 温度超过阈值

TemperatureOverUpperLimit

重要

可能是由于DDR颗粒温度过高或过温软件预警

参考文档：

ModelArts故障排除 > 轻量算力节点> NPUErrorCodeWarning事件处理建议

可能造成过温下电及device丢失

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: 存在不可纠正ECC错误

UncorrectableEccErrorCount

重要

NPU卡出现Uncorrectable ECC Error硬件故障

参考文档：

ModelArts故障排除 > 轻量算力节点> NPUErrorCodeWarning事件处理建议

业务可能受到影响终止

Snt3P

Snt3PD

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: 需要重启实例

RebootVirtualMachine

提示

当前故障很可能需要重启进行恢复

参考文档：

ModelArts故障排除 > 轻量算力节点> NPUErrorCodeWarning事件处理建议

重启可能中断客户业务

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: 需要复位SOC

ResetSOC

提示

当前故障很可能需要复位SOC进行恢复

参考文档：

ModelArts故障排除 > 轻量算力节点> NPUErrorCodeWarning事件处理建议

复位SOC可能中断客户业务

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: 需要退出AI任务重新执行

RestartAIProcess

提示

当前故障很可能需要客户退出当前的AI任务并尝试重新执行

参考文档：

ModelArts故障排除 > 轻量算力节点> NPUErrorCodeWarning事件处理建议

退出当前AI任务以便重新执行

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: errorcode告警

NPUErrorCodeWarning

重要

这里涵盖了大量重要及以上的NPU错误码，您可以根据这些错误码进一步定位错误原因

参考文档：

ModelArts故障排除 > 轻量算力节点> NPUErrorCodeWarning事件处理建议

NPU当前存在故障，可能导致客户业务终止

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU HBM多ECC错误信息

NpuHbmMultiEccInfo

提示

NPU卡存在HBM的ECC错误，此事件上报相应错误信息

这是一个用于辅助其他事件进行判断的事件，无需单独定位处理

这是一个用于辅助其他事件进行判断的事件，无需单独定位处理

Snt9b

Snt9b23

telescope：

2.7.5.9及之后版本

GPU: RoCE网卡配置错误

GpuRoceNicConfigIncorrect

重要

GPU: RoCE网卡配置错误

参考文档：

ModelArts故障排除 > 轻量算力节点> GpuRoceNicConfigIncorrect事件处理建议

机器参数面网络异常，多机任务无法执行

GPU

telescope：

2.7.5.9及之后版本

OS出现ReadOnly问题

ReadOnlyFileSystem

严重

文件系统%s只读

参考文档：

ModelArts故障排除 > 轻量算力节点> ReadOnlyFileSystem事件处理建议

无法对文件进行写和操作

-

telescope：

2.7.5.3

2.7.5.9及之后版本

NPU：驱动固件不匹配

NpuDriverFirmwareMismatch

重要

NPU驱动固件版本不匹配

参考文档：

ModelArts故障排除 > 轻量算力节点> NpuDriverFirmwareMismatch事件处理建议

无法正常使用NPU卡

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

NPU：RoCE网卡down

RoCELinkStatusDown

重要

NPU卡 %d RoCE Link状态Down

参考文档：

ModelArts故障排除 > 轻量算力节点> RoCELinkStatusDown事件处理建议

NPU网卡不可用

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

NPU：RoCE网卡健康状态异常

RoCEHealthStatusError

重要

NPU卡 %d RoCE网络健康状态异常

参考文档：

ModelArts故障排除 > 轻量算力节点> RoCEHealthStatusError事件处理建议

NPU网卡不可用

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

NPU：Roce网卡配置文件/etc/hccn.conf不存在

HccnConfNotExisted

重要

Roce网卡配置文件"/etc/hccn.conf"不存在

参考文档：

ModelArts故障排除 > 轻量算力节点> HccnConfNotExisted事件处理建议

Roce网卡不可用

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

GPU：GPU基本组件异常

GpuEnvironmentSystem

重要

nvidia-smi命令异常

1. 确认驱动版本和GPU是否兼容，访问NVIDIA驱动官网核对匹配的GPU型号和驱动版本。

https://www.nvidia.cn/drivers/lookup/

2. 检查NVIDIA内核模块是否加载：lsmod | grep nvidia，若未加载，尝试手动加载：sudo modprobe nvidia

3. 重装GPU驱动。

4. 若问题仍未解决，建议提工单，联系运维人员协助处理。

GPU卡驱动不可用

GPU

telescope：

2.7.5.3

2.7.5.9及之后版本

重要

nvidia-fabricmanager版本和GPU驱动版本不一致

请检查GPU驱动版本和nvidia-fabricmanager版本是否匹配。

nvidia-fabricmanager无法正常工作，影响GPU的使用

重要

容器插件nvidia-container-toolkit未安装

参考NVIDIA Container Toolkit安装指导文档，进行安装和配置。

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

docker无法挂载GPU卡

本地磁盘挂载巡检

MountDiskSystem

重要

/etc/fstab中有无效的UUID

参考文档：

ModelArts故障排除 > 轻量算力节点> MountDiskSystem事件处理建议

挂载磁盘错误，导致机器重启异常

-

telescope：

2.7.5.3

2.7.5.9及之后版本

GP：Ant系列机器动态路由配置错误

GpuRouteConfigError

重要

Ant系列机器网卡%s动态路由未配置或配置错误，CMD [ip route]: %s | CMD [ip route show table all]: %s。

建议提工单，联系运维人员协助处理。

NPU网络通信异常

GPU

telescope：

2.7.5.3

2.7.5.9及之后版本

NPU：Roce端口未散列配置

RoCEUdpConfigError

重要

RoCE UDP端口未散列配置

参考文档：

ModelArts故障排除 > 轻量算力节点> RoCEUdpConfigError事件处理建议

影响NPU卡通信性能

Snt9b

Snt9b23

telescope：

2.7.5.9及之后版本

系统内核自动升级预警

KernelUpgradeWarning

重要

系统内核自动升级预警，旧版本：%s，新版本：%s

参考文档：

ModelArts故障排除 > 轻量算力节点> KernelUpgradeWarning事件处理建议

可能导致配套AI配套软件不可用

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

NPU环境相关命令检测

NpuToolsWarning

重要

hccn_tool不可用

参考文档：

ModelArts故障排除 > 轻量算力节点> NpuToolsWarning事件处理建议

无法配置RoCE网卡的IP、网关

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

重要

npu-smi不可用

参考文档：

ModelArts故障排除 > 轻量算力节点> NpuToolsWarning事件处理建议

无法正常使用NPU卡

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

重要

ascend-dmi不可用

参考文档：

ModelArts故障排除 > 轻量算力节点> NpuToolsWarning事件处理建议

无法使用ascend-dmi进行性能分析

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

NPU: L1交换机端口局部功能失效

NpuL1SwitchPortPartialFunctionFailure

重要

NPU的L1 1520交换机端口局部功能失效

参考文档：

ModelArts故障排除 > 轻量算力节点> NpuL1SwitchPortPartialFunctionFailure事件处理建议

业务可能受到影响终止

Snt9b23

telescope：

2.7.5.9及之后版本

lqdcmi：

2.1.0及之后版本

NPU: L1交换机故障

NpuL1SwitchFault

重要

NPU的L1 1520交换机发生故障

参考文档：

ModelArts故障排除 > 轻量算力节点> NpuL1SwitchFault事件处理建议

业务可能受到影响终止

Snt9b23

telescope：

2.7.5.9及之后版本

lqdcmi：

2.1.0及之后版本

NPU：RoCE IP地址不匹配

NpuRoceIPAddressMismatch

重要

RoCE网卡的实际IP地址与配置文件hccn.conf中的IP地址不一致

参考文档：

ModelArts故障排除 > 轻量算力节点> NpuRoceIPAddressMismatch事件处理建议

机器参数面网络异常，多机任务无法执行

Snt9b

Snt9b23

telescope：

2.7.5.9及之后版本

VRD目标版本与当前版本不一致

InconsistentNpuVrdVersion

重要

VRD目标版本与当前版本不一致

通过下电、等待5分钟、再上电的操作来升级VRD

短期内无影响，长期会影响NPU运行稳定性

Snt9b

Snt9b23

-