# 使用CES监控轻量算力节点NPU事件 #### 场景描述 通过对接CES，可以将业务中的重要事件或对云资源的操作事件收集到CES云监控服务，并在事件发生时进行告警。轻量算力节点支持的事件来源主要是BMS和ECS，NPU涉及的具体事件列表如下，其他相关事件请参考[CES事件监控说明](https://support.huaweicloud.com/usermanual-ces/ces_01_0054.html)。 #### 约束限制 - 事件上报到CES需要用到CES Agent插件，Agent有严格的资源占用限制，当资源占用超过阈值后出现Agent熔断情况，详细的资源占用说明请参考CES产品文档相关章节：[CES Agent性能说明](https://support.huaweicloud.com/usermanual-ces/zh-cn_topic_0078721772.html#section2)。 - 监控Agent已在轻量算力节点提供的公共镜像中经过充分测试，如果您使用自己的镜像，建议测试后再部署到生产环境，防止信息错误。 #### 前提条件 轻量算力节点中已经安装CES Agent插件，判断是否安装CES Agent插件及安装方式请参见[安装CES Agent监控插件](https://support.huaweicloud.com/resmgmt-modelarts/usermanual-server-0022.html#ZH-CN_TOPIC_0000001614393765__section36941852155713)。 #### 事件来源 BMS/ECS #### 事件命名空间 SYS.BMS/SYS.ECS/service.ModelArts #### 事件列表 表1轻量算力节点支持的故障事件列表（BMS/ECS） | 事件名称 | 事件ID | 事件级别 | 事件说明 | 处理建议 | 事件影响 | 支持机型 | 支持CES Agent版本 | |:---|:---|:---|:---|:---|:---|:---|:---| | NPU: npu-smi info查询缺少设备 | NPUSMICardNotFound | 重要 | 可能是由于昇腾驱动问题或NPU掉卡 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> NPUSMICardNotFound事件处理建议 | NPU卡无法正常使用 | Snt3P Snt3PD Snt9b Snt9b23 | telescope： 2.7.4.3 2.7.5.3 2.7.5.4 2.7.5.9及之后版本 | | NPU: PCIe链路异常 | PCIeErrorFound | 重要 | lspci显示npu卡处于rev ff状态 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> PCIeErrorFound事件处理建议 | NPU卡无法正常使用 | Snt3P Snt3PD Snt9b Snt9b23 | telescope： 2.7.4.3 2.7.5.3 2.7.5.4 2.7.5.9及之后版本 | | NPU: lspci查询缺少设备 | LspciCardNotFound | 重要 | 一般是由于NPU掉卡 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> LspciCardNotFound事件处理建议 | NPU卡无法正常使用 | Snt3P Snt3PD Snt9b Snt9b23 | telescope： 2.7.4.3 2.7.5.3 2.7.5.4 2.7.5.9及之后版本 | | NPU: 温度超过阈值 | TemperatureOverUpperLimit | 重要 | 可能是由于DDR颗粒温度过高或过温软件预警 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> NPUErrorCodeWarning事件处理建议 | 可能造成过温下电及device丢失 | Snt3P Snt3PD Snt9b Snt9b23 | telescope： 2.7.4.3 2.7.5.3 2.7.5.4 2.7.5.9及之后版本 | | NPU: 存在不可纠正ECC错误 | UncorrectableEccErrorCount | 重要 | NPU卡出现Uncorrectable ECC Error硬件故障 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> NPUErrorCodeWarning事件处理建议 | 业务可能受到影响终止 | Snt3P Snt3PD | telescope： 2.7.4.3 2.7.5.3 2.7.5.4 2.7.5.9及之后版本 | | NPU: 需要重启实例 | RebootVirtualMachine | 提示 | 当前故障很可能需要重启进行恢复 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> NPUErrorCodeWarning事件处理建议 | 重启可能中断客户业务 | Snt3P Snt3PD Snt9b Snt9b23 | telescope： 2.7.4.3 2.7.5.3 2.7.5.4 2.7.5.9及之后版本 | | NPU: 需要复位SOC | ResetSOC | 提示 | 当前故障很可能需要复位SOC进行恢复 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> NPUErrorCodeWarning事件处理建议 | 复位SOC可能中断客户业务 | Snt3P Snt3PD Snt9b Snt9b23 | telescope： 2.7.4.3 2.7.5.3 2.7.5.4 2.7.5.9及之后版本 | | NPU: 需要退出AI任务重新执行 | RestartAIProcess | 提示 | 当前故障很可能需要客户退出当前的AI任务并尝试重新执行 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> NPUErrorCodeWarning事件处理建议 | 退出当前AI任务以便重新执行 | Snt3P Snt3PD Snt9b Snt9b23 | telescope： 2.7.4.3 2.7.5.3 2.7.5.4 2.7.5.9及之后版本 | | NPU: errorcode告警 | NPUErrorCodeWarning | 重要 | 这里涵盖了大量重要及以上的NPU错误码，您可以根据这些错误码进一步定位错误原因 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> NPUErrorCodeWarning事件处理建议 | NPU当前存在故障，可能导致客户业务终止 | Snt3P Snt3PD Snt9b Snt9b23 | telescope： 2.7.4.3 2.7.5.3 2.7.5.4 2.7.5.9及之后版本 | | NPU HBM多ECC错误信息 | NpuHbmMultiEccInfo | 提示 | NPU卡存在HBM的ECC错误，此事件上报相应错误信息 | 这是一个用于辅助其他事件进行判断的事件，无需单独定位处理 | 这是一个用于辅助其他事件进行判断的事件，无需单独定位处理 | Snt9b Snt9b23 | telescope： 2.7.5.9及之后版本 | | GPU: RoCE网卡配置错误 | GpuRoceNicConfigIncorrect | 重要 | GPU: RoCE网卡配置错误 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> GpuRoceNicConfigIncorrect事件处理建议 | 机器参数面网络异常，多机任务无法执行 | GPU | telescope： 2.7.5.9及之后版本 | | OS出现ReadOnly问题 | ReadOnlyFileSystem | 严重 | 文件系统%s只读 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> ReadOnlyFileSystem事件处理建议 | 无法对文件进行写和操作 | - | telescope： 2.7.5.3 2.7.5.9及之后版本 | | NPU：驱动固件不匹配 | NpuDriverFirmwareMismatch | 重要 | NPU驱动固件版本不匹配 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> NpuDriverFirmwareMismatch事件处理建议 | 无法正常使用NPU卡 | Snt3P Snt3PD Snt9b Snt9b23 | telescope： 2.7.5.3 2.7.5.9及之后版本 | | NPU：RoCE网卡down | RoCELinkStatusDown | 重要 | NPU卡 %d RoCE Link状态Down | 参考文档： ModelArts故障排除 \> 轻量算力节点\> RoCELinkStatusDown事件处理建议 | NPU网卡不可用 | Snt9b Snt9b23 | telescope： 2.7.5.3 2.7.5.9及之后版本 | | NPU：RoCE网卡健康状态异常 | RoCEHealthStatusError | 重要 | NPU卡 %d RoCE网络健康状态异常 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> RoCEHealthStatusError事件处理建议 | NPU网卡不可用 | Snt9b Snt9b23 | telescope： 2.7.5.3 2.7.5.9及之后版本 | | NPU：Roce网卡配置文件/etc/hccn.conf不存在 | HccnConfNotExisted | 重要 | Roce网卡配置文件"/etc/hccn.conf"不存在 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> HccnConfNotExisted事件处理建议 | Roce网卡不可用 | Snt9b Snt9b23 | telescope： 2.7.5.3 2.7.5.9及之后版本 | | GPU：GPU基本组件异常 | GpuEnvironmentSystem | 重要 | nvidia-smi命令异常 | 1. 确认驱动版本和GPU是否兼容，访问[NVIDIA驱动官](https://www.nvidia.cn/drivers/lookup/)网核对匹配的GPU型号和驱动版本。 2. 检查NVIDIA内核模块是否加载：lsmod \| grep nvidia，若未加载，尝试手动加载：sudo modprobe nvidia 3. 重装GPU驱动。 4. 若问题仍未解决，建议提工单，联系运维人员协助处理。 | GPU卡驱动不可用 | GPU | telescope： 2.7.5.3 2.7.5.9及之后版本 | | GPU：GPU基本组件异常 | GpuEnvironmentSystem | 重要 | nvidia-fabricmanager版本和GPU驱动版本不一致 | 请检查GPU驱动版本和nvidia-fabricmanager版本是否匹配。 | nvidia-fabricmanager无法正常工作，影响GPU的使用 | GPU | telescope： 2.7.5.3 2.7.5.9及之后版本 | | GPU：GPU基本组件异常 | GpuEnvironmentSystem | 重要 | 容器插件nvidia-container-toolkit未安装 | 参考NVIDIA Container Toolkit安装指导文档，进行安装和配置。 | docker无法挂载GPU卡 | GPU | telescope： 2.7.5.3 2.7.5.9及之后版本 | | 本地磁盘挂载巡检 | MountDiskSystem | 重要 | /etc/fstab中有无效的UUID | 参考文档： ModelArts故障排除 \> 轻量算力节点\> MountDiskSystem事件处理建议 | 挂载磁盘错误，导致机器重启异常 | - | telescope： 2.7.5.3 2.7.5.9及之后版本 | | GP：Ant系列机器动态路由配置错误 | GpuRouteConfigError | 重要 | Ant系列机器网卡%s动态路由未配置或配置错误，CMD \[ip route\]: %s \| CMD \[ip route show table all\]: %s。 | 建议提工单，联系运维人员协助处理。 | NPU网络通信异常 | GPU | telescope： 2.7.5.3 2.7.5.9及之后版本 | | NPU：Roce端口未散列配置 | RoCEUdpConfigError | 重要 | RoCE UDP端口未散列配置 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> RoCEUdpConfigError事件处理建议 | 影响NPU卡通信性能 | Snt9b Snt9b23 | telescope： 2.7.5.9及之后版本 | | 系统内核自动升级预警 | KernelUpgradeWarning | 重要 | 系统内核自动升级预警，旧版本：%s，新版本：%s | 参考文档： ModelArts故障排除 \> 轻量算力节点\> KernelUpgradeWarning事件处理建议 | 可能导致配套AI配套软件不可用 | Snt3P Snt3PD Snt9b Snt9b23 | telescope： 2.7.5.3 2.7.5.9及之后版本 | | NPU环境相关命令检测 | NpuToolsWarning | 重要 | hccn_tool不可用 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> NpuToolsWarning事件处理建议 | 无法配置RoCE网卡的IP、网关 | Snt9b Snt9b23 | telescope： 2.7.5.3 2.7.5.9及之后版本 | | NPU环境相关命令检测 | NpuToolsWarning | 重要 | npu-smi不可用 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> NpuToolsWarning事件处理建议 | 无法正常使用NPU卡 | Snt3P Snt3PD Snt9b Snt9b23 | telescope： 2.7.5.3 2.7.5.9及之后版本 | | NPU环境相关命令检测 | NpuToolsWarning | 重要 | ascend-dmi不可用 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> NpuToolsWarning事件处理建议 | 无法使用ascend-dmi进行性能分析 | Snt9b Snt9b23 | telescope： 2.7.5.3 2.7.5.9及之后版本 | | NPU: L1交换机端口局部功能失效 | NpuL1SwitchPortPartialFunctionFailure | 重要 | NPU的L1 1520交换机端口局部功能失效 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> NpuL1SwitchPortPartialFunctionFailure事件处理建议 | 业务可能受到影响终止 | Snt9b23 | telescope： 2.7.5.9及之后版本 lqdcmi： 2.1.0及之后版本 | | NPU: L1交换机故障 | NpuL1SwitchFault | 重要 | NPU的L1 1520交换机发生故障 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> NpuL1SwitchFault事件处理建议 | 业务可能受到影响终止 | Snt9b23 | telescope： 2.7.5.9及之后版本 lqdcmi： 2.1.0及之后版本 | | NPU：RoCE IP地址不匹配 | NpuRoceIPAddressMismatch | 重要 | RoCE网卡的实际IP地址与配置文件hccn.conf中的IP地址不一致 | 参考文档： ModelArts故障排除 \> 轻量算力节点\> NpuRoceIPAddressMismatch事件处理建议 | 机器参数面网络异常，多机任务无法执行 | Snt9b Snt9b23 | telescope： 2.7.5.9及之后版本 | | VRD目标版本与当前版本不一致 | InconsistentNpuVrdVersion | 重要 | VRD目标版本与当前版本不一致 | 通过下电、等待5分钟、再上电的操作来升级VRD | 短期内无影响，长期会影响NPU运行稳定性 | Snt9b Snt9b23 | - |