使用CES监控Lite Server NPU事件

NPU: npu-smi info查询缺少设备

NPUSMICardNotFound

重要

可能是由于昇腾驱动问题或NPU掉卡

联系运维人员协助处理

NPU卡无法正常使用

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: PCIe链路异常

PCIeErrorFound

重要

lspci显示npu卡处于rev ff状态

联系运维人员协助处理

NPU卡无法正常使用

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: lspci查询缺少设备

LspciCardNotFound

重要

一般是由于NPU掉卡

联系运维人员协助处理

NPU卡无法正常使用

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: 温度超过阈值

TemperatureOverUpperLimit

重要

可能是由于DDR颗粒温度过高或过温软件预警

暂停业务，重启系统，查看散热系统，device复位

可能造成过温下电及device丢失

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: 存在不可纠正ECC错误

UncorrectableEccErrorCount

重要

NPU卡出现Uncorrectable ECC Error硬件故障

如果业务受到影响，转硬件换卡

业务可能受到影响终止

Snt3P

Snt3PD

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: 需要重启实例

RebootVirtualMachine

提示

当前故障很可能需要重启进行恢复

在收集必要信息后，重启以尝试恢复

重启可能中断客户业务

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: 需要复位SOC

ResetSOC

提示

当前故障很可能需要复位SOC进行恢复

在收集必要信息后，复位SOC以尝试恢复

复位SOC可能中断客户业务

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: 需要退出AI任务重新执行

RestartAIProcess

提示

当前故障很可能需要客户退出当前的AI任务并尝试重新执行

在收集必要信息后，尝试退出当前AI任务并尝试重新执行

退出当前AI任务以便重新执行

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU: errorcode告警

NPUErrorCodeWarning

重要

这里涵盖了大量重要及以上的NPU错误码，您可以根据这些错误码进一步定位错误原因

对照《黑匣子错误码信息列表》和《健康管理故障定义》进一步定位错误

NPU当前存在故障，可能导致客户业务终止

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.4.3

2.7.5.3

2.7.5.4

2.7.5.9及之后版本

NPU HBM多ECC错误信息

NpuHbmMultiEccInfo

提示

NPU卡存在HBM的ECC错误，此事件上报相应错误信息

这是一个用于辅助其他事件进行判断的事件，无需单独定位处理

这是一个用于辅助其他事件进行判断的事件，无需单独定位处理

Snt9b

Snt9b23

telescope：

2.7.5.9及之后版本

GPU: RoCE网卡配置错误

GpuRoceNicConfigIncorrect

重要

GPU: RoCE网卡配置错误

联系运维人员协助处理

机器参数面网络异常，多机任务无法执行

GPU

telescope：

2.7.5.9及之后版本

OS出现ReadOnly问题

ReadOnlyFileSystem

严重

文件系统%s只读

请检查磁盘健康状态

无法对文件进行写入和操作

-

telescope：

2.7.5.3

2.7.5.9及之后版本

NPU：驱动固件不匹配

NpuDriverFirmwareMismatch

重要

NPU驱动固件版本不匹配

请从昇腾官网获取匹配版本重新安装

无法正常使用NPU卡

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

NPU：RoCE网卡down

RoCELinkStatusDown

重要

NPU卡 %d RoCE Link状态Down

请检查NPU Roce网口状态

NPU网卡不可用

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

NPU：RoCE网卡健康状态异常

RoCEHealthStatusError

重要

NPU卡 %d RoCE网络健康状态异常

请检查NPU Roce网卡健康状态

NPU网卡不可用

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

NPU：Roce网卡配置文件/etc/hccn.conf不存在

HccnConfNotExisted

重要

Roce网卡配置文件"/etc/hccn.conf"不存在

请检查/etc/hccn.conf网卡配置文件

Roce网卡不可用

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

GPU：GPU基本组件异常

GpuEnvironmentSystem

重要

nvidia-smi命令异常

请检查GPU驱动是否正常

GPU卡驱动不可用

GPU

telescope：

2.7.5.3

2.7.5.9及之后版本

重要

nvidia-fabricmanager版本和GPU驱动版本不一致

请检查GPU驱动版本和nvidia-fabricmanager版本

nvidia-fabricmanager无法正常工作，影响GPU的使用

重要

容器插件nvidia-container-toolkit未安装

安装容器插件nvidia-container-toolkit

docker无法挂载GPU卡

本地磁盘挂载巡检

MountDiskSystem

重要

/etc/fstab中有无效的UUID

请检查/etc/fstab配置文件中UUID的正确性，否则可能会导致机器重启失败

挂载磁盘错误，导致机器重启异常

-

telescope：

2.7.5.3

2.7.5.9及之后版本

GP：Ant系列机器动态路由配置错误

GpuRouteConfigError

重要

Ant系列机器网卡%s动态路由未配置或配置错误，CMD [ip route]: %s | CMD [ip route show table all]: %s。

请正确配置RoCE网卡路由

NPU网络通信异常

GPU

telescope：

2.7.5.3

2.7.5.9及之后版本

NPU：Roce端口未散列配置

RoCEUdpConfigError

重要

RoCE UDP端口未散列配置

请检查NPU RoCE UDP端口配置情况

影响NPU卡通信性能

Snt9b

Snt9b23

telescope：

2.7.5.9及之后版本

系统内核自动升级预警

KernelUpgradeWarning

重要

系统内核自动升级预警，旧版本：%s，新版本：%s

系统内核升级可能导致配套AI软件异常，请检查系统更新日志，避免机器重启

可能导致配套AI配套软件不可用

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

NPU环境相关命令检测

NpuToolsWarning

重要

hccn_tool不可用

请检查NPU驱动是否正常

无法配置RoCE网卡的IP、网关

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

重要

npu-smi不可用

请检查NPU驱动是否正常

无法正常使用NPU卡

Snt3P

Snt3PD

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

重要

ascend-dmi不可用

请检查工具包ToolBox是否正常安装

无法使用ascend-dmi进行性能分析

Snt9b

Snt9b23

telescope：

2.7.5.3

2.7.5.9及之后版本

NPU：L1交换机端口局部功能失效

NpuL1SwitchPortPartialFunctionFailure

重要

NPU的L1 1520交换机端口局部功能失效

转昇腾和硬件处理

业务可能受到影响终止

Snt9b23

telescope：

2.7.5.9及之后版本

lqdcmi：

2.1.0及之后版本

NPU：L1交换机故障

NpuL1SwitchFault

重要

NPU的L1 1520交换机发生故障

转昇腾和硬件处理

业务可能受到影响终止

Snt9b23

telescope：

2.7.5.9及之后版本

lqdcmi：

2.1.0及之后版本

NPU：RoCE IP地址不匹配

NpuRoceIPAddressMismatch

重要

RoCE网卡的实际IP地址与配置文件hccn.conf中的IP地址不一致

联系运维人员协助处理

机器参数面网络异常，多机任务无法执行

Snt9b

Snt9b23

telescope：

2.7.5.9及之后版本

服务器组件信息收集

SysComponentInfo

提示

收集服务器组件信息，包含驱动固件版本、OS内核、镜像名称、ces-agent版本和SFS Turbo Client+版本

无

无

Snt3PD

Snt9b

Snt9b23

-

NPU PFC状态异常

NpuPfcStatusWarning

重要

NPU PFC优先级队列配置未将第五位队列设置为1导致的功能异常

使用命令hccn_tool -i [device_id] -pfc -s bitmap 0,0,0,0,1,0,0,0或联系昇腾工程师处理。

Roce通信异常，业务可能受到影响终止

Snt9b23

-

NPU TLS证书状态异常

NpuTlsStatusWarning

重要

不同NPU卡的证书配置不一致

建议配置成 都是开或都为关

hccn_tool -i <device_id> -tls -s enable 0

hccn_tool -i <device_id> -tls -s enable 1

HCCL通信异常，业务可能受到影响终止

Snt9b23

-

NPU HCCS健康状态异常

NpuHccsHealthWarning

重要

NPU HCCS模块健康状态异常（非OK状态）

转昇腾和硬件处理

会导致NPU间数据同步失败，引发训练任务中断或推理结果错误

Snt9b23

-

SDI网卡状态异常

SdiCheckWarning

重要

SDI网卡未处于UP和RUNNING状态

1. 可排查驱动问题或联系厂商恢复网卡。
2. 查看网络配置文件/etc/sysconfig/network-scripts/ifcfg-[xxx]（xxx表示网卡名），确保ONBOOT=yes并重启网络服务 systemctl restart NetworkManager
3. 查看是否网卡物理损坏或电源故障可能导致的状态异常。

业务可能受到影响终止

Snt9b

Snt9b23

-