资源池节点故障定位
节点故障定位
对于专属资源池，ModelArts平台在识别到节点故障后，通过给K8S节点增加污点的方式（taint）将节点隔离避免新作业调度到该节点而受到影响，并且使本次作业不受污点影响。当前可识别的故障类型如下，可通过隔离码及对应检测方法定位故障。
| 隔离码 | 分类 | 子类 | 异常中文描述 | 检测方法 |
|---|---|---|---|---|
| A050101 | GPU | 显存 | GPU ECC错误。 | 通过nvidia-smi -a查询到存在Pending Page Blacklist为Yes的记录，或多比特Register File大于0。对于Ampere架构的GPU，存在以下场景：
Ampere架构GPU显存错误分级：
|
| A050102 | GPU | 其他 | nvidia-smi返回信息中包含ERR。 | 通过nvidia-smi -a查询到ERR!，通常为硬件问题，如电源风扇等问题。 |
| A050103 | GPU | 其他 | nvidia-smi执行错误，超时或者不存在。 | 执行nvidia-smi退出码非0。 |
| A050104 | GPU | 显存 | ECC错误到达64次。 | 通过nvidia-smi -a查询到Retired Pages中，Single Bit和Double Bit之和大于64。 |
| A050148 | GPU | 其他 | infoROM告警。 | 执行nvidia-smi的返回信息中包含“infoROM is corrupted”告警。 |
| A050109 | GPU | 其他 | GPU其他错误。 | 检测到的其他GPU错误，通常为硬件问题，请联系技术人员支持。 |
| A050147 | IB | 链路 | IB网卡异常。 | ibstat查看网卡非Active状态。 |
| A050121 | NPU | 其他 | npu dcmi接口检测到driver异常。 | NPU驱动环境异常。 |
| A050122 | NPU | 其他 | npu dcmi device异常。 | NPU设备异常，昇腾dcmi接口中返回设备存在重要或紧急告警。 |
| A050123 | NPU | 链路 | 1520亚健康检测异常。 | 1520亚健康，故障等级：预隔离 |
| A050124 | NPU | 其他 | 1520亚健康检测异常。 | 1520亚健康，故障等级：隔离 |
| A050128 | NPU | 其他 | NPU残留进程检测。 | 从dp获取原始信息进行判断是否有残留进程。 |
| A050967 | NPU | 其他 | NPU发生高频故障 | 从节点annotation获取信息进行判断是否有高频故障。 |
| A050129 | NPU | 其他 | NPU其他错误。 | 检测到的其他NPU错误，通常为不可自纠正的异常，请联系技术人员支持。 |
| A050149 | NPU | 链路 | hccn tool网口闪断检查。 | NPU网络不稳定，存在闪断情况。通过“hccn_tool-i ${device_id} -link_stat -g”查看4小时内闪断5次以上。 |
| A050951 | NPU | 显存 | NPU ECC次数达到维修阈值。 | NPU的HBM Double Bit Isolated Pages Count值大于等于64。 |
| A050821 | NPU | 链路 | 1825网卡亚健康 | 检测到节点1825网卡亚健康，可查看dpu-info-<nodename> configmap获取具体故障信息。 |
| A050822 | NPU | 链路 | 1825网卡故障 | 检测到节点1825网卡故障，可查看dpu-info-<nodename> configmap获取具体故障信息。 |
| A050823 | NPU | 链路 | UB端口异常 | 执行 hccn_tool -g -dev_info -i ${device_id} 命令存在状态为DOWN的UB端口。 |
| A050146 | Runtime | 其他 | ntp异常。 | ntpd或者chronyd服务异常。 |
| A050202 | Runtime | 其他 | 节点NotReady。 | 节点不可达，k8sNode存在以下污点之一：
|
| A050203 | Runtime | 掉卡 | AI正常卡数和实际容量不匹配。 | 检测到存在GPU或NPU掉卡情况。 |
| A050204 | Runtime | 其他 | NPU卡 L1-L5 故障信息。 | 检测节点metadata.annotations."os.modelarts.node/fault-info"内容，一般为非A050203掉卡故障。 |
| A050206 | Runtime | 其他 | Kubelet硬盘只读。 | “/mnt/paas/kubernetes/kubelet”目录为只读状态。 |
| A050955 | Runtime | 其他 | SFS turbo client+安装失败。 | 从SFS侧OBS桶下载SFS turbo client+软件包后安装异常失败，原因未知，需要运维介入处理。 |
| A050956 | Runtime | 其他 | SFS TURBO CLIENT+版本不符合预期。 | 通过modInfo命令检测节点当前nfs版本，如果不符合预先配置的环境变量值，则产生该故障并隔离节点。 |
| A050801 | 节点管理 | 节点运维 | 资源预留。 | 节点被标记为备机，并具有备机污点。 |
| A050802 | 节点管理 | 节点运维 | 未知错误。 | 节点被标记为具有未知故障污点。 |
| A050803 | 节点管理 | 节点运维 | 未知错误。 | 节点被标记为具有严重未知故障污点。 |
| A050805 | 节点管理 | 节点运维 | 运维授权。 | 推送运维申请给用户，用于授权。 |
| A050806 | 节点管理 | 节点运维 | 隔离备机和替换保留节点。 | 隔离备机和替换保留节点。 |
| A050807 | 节点管理 | 节点运维 | 表示节点正在节点替换中。 | 节点替换过程中或者保留故障机，会增加该故障码，并隔离节点。 |
| A050810 | 节点管理 | 节点运维 | 连续多次同一个故障码。 | 同一个节点，同一个故障码，连续出现多次时，MAOS自动升级成该故障。 |
| A050817 | 节点管理 | 节点运维 | 重部署关联隔离非故障节点 | 在触发 SliceHA 时，对slice 内的非故障节点创建该故障实例，用于隔离与故障节点同 slice 下的非故障节点。 |
| A200001 | 节点管理 | 驱动升级 | GPU升级。 | 节点正在执行GPU驱动升级。 |
| A200002 | 节点管理 | 驱动升级 | NPU升级。 | 节点正在执行NPU驱动升级。 |
| A050963 | 节点管理 | 驱动升级 | NPU驱动升级故障。 | 检查NPU驱动升级过程中出现的pending卡死以及abnormal异常的场景。 |
| A200008 | 节点管理 | 节点准入 | 准入检测。 | 节点正在进行节点准入检测，包括基本的节点配置检查和简单的业务验证。 |
| A050933 | 节点管理 | 容错Failover | 当节点具有该污点时，会将节点上容错（Failover）业务迁移走。 | 当节点标记该污点时，会将节点上容错（Failover）业务迁移走。 |
| A050968 | 节点管理 | 网络 | 网卡接收队列异常 | 检查节点网络收包队列，判断是否只有0号队列在收包。 |
| A050965 | 节点管理 | 其他 | 节点资源被冻结。 | 在CloudScopeV2上查看MAOS节点的cr中的metadata.annotations[os.modelarts/billing.status]字段的内容，是否为空。 |
| A050966 | 节点管理 | 其他 | 节点上权重预热项清理异常。 | 权重预热的pod被删除，但是节点上存在/tmp/ckpt-warm-up-xxx的tmpfs挂载点。 |
| A050931 | 训练toolkit | 预检容器 | 训练预检容器检测到GPU错误。 | 训练预检容器检测到GPU错误。 |
| A050932 | 训练toolkit | 预检容器 | 训练预检容器检测IB错误。 | 训练预检容器检测IB错误。 |
| A050804 | 硬件故障 | 硬件故障 | 通过硬件告警发现。 | 硬件告警监控发现。 请在事件中心授权修复，详细请参考事件中心授权运维。 |
| A050808 | 硬件故障 | 硬件亚健康 | 底层硬件亚健康。 | 底层硬件故障，当前通过CAR诊断接入。客户授权重启节点后，如故障10分钟仍未关闭，会自动升级为A050809。 |
| A050809 | 硬件故障 | 硬件亚健康 | 底层硬件亚健康。 | 节点亚健康后，通过重启节点，故障10分钟仍未关闭，MAOS自动升级成该故障。 |
| A050811 | 硬件故障 | 硬件亚健康 | CES检测底层硬件亚健康 | CES检测底层硬件故障，当前通过CAR自动接入。 CES当前不支持告警自动恢复，没法感知重启后故障是否恢复。所有暂不支持自动升级为原地修复或自动关闭故障。 |
| A050812 | 硬件故障 | 硬件亚健康 | 通过硬件告警发现存在超平面L1级别亚健康故障。 | 硬件告警监控发现。 请在事件中心授权修复，详细请参考事件中心授权运维。 |
| A050813 | 硬件故障 | 硬件亚健康 | 通过硬件告警发现存在超平面L2级别亚健康故障。 | 硬件告警监控发现。 请在事件中心授权修复，详细请参考事件中心授权运维。 |
| A050814 | 硬件故障 | 硬件亚健康 | 通过硬件告警发现存在超平面L3级别亚健康故障。 | 硬件告警监控发现。 请在事件中心授权修复，详细请参考事件中心授权运维。 |
| A050815 | 硬件故障 | 硬件亚健康 | 通过硬件告警发现存在参数面L1级别亚健康故障。 | 硬件告警监控发现。 请在事件中心授权修复，详细请参考事件中心授权运维。 |
| A050816 | 硬件故障 | 硬件亚健康 | 通过硬件告警发现存在参数面L2级别亚健康故障。 | 硬件告警监控发现。 请在事件中心授权修复，详细请参考事件中心授权运维。 |
| A050820 | 硬件故障 | 硬件亚健康 | 通过硬件告警发现存在服务器相关亚健康故障。 | 硬件告警监控发现。 请在事件中心授权修复，详细请参考事件中心授权运维。 |
| A050899 | 硬件故障 | 其他 | 故障配合维修。 | 硬件告警监控发现硬件故障，此硬件进行维修时相关关联硬件需要停止业务配合维修。 |
| 21000022 | DPU（1825网卡） | HCA端口 | 1825 HCA端口故障（hca_port_down），RoCE设备端口状态异常，影响NPU与DPU之间的通信链路。 | 读取 RoCE 设备端口状态，执行 cat /sys/class/infiniband/$hca/ports/1/state 和 cat /sys/class/infiniband/$hca/ports/1/phys_state，端口状态非正常则为故障。 仅适用于A5。 |
| 21000023 | DPU（1825网卡） | UB链路 | 1825 与NPU之间部分lane故障（part_lane_down），数据面带宽降低但不完全断开，不影响业务运行但影响性能。 | 使用 Hinicadmfdx3 工具检查端口link位宽，执行 hinicadmdfx3 pcie_topo -i ${hca_name} -a，检查cap值与cur值，两者不等则为降lane故障。 仅适用于A5。 |
| 21000025 | DPU（1825网卡） | 以太网口 | 1825 出端口故障（eth_port_down），网卡对外网路口异常，影响出方向通信。 | 读取 RoCE 设备端口状态，执行 cat /sys/class/infiniband/$hca/ports/1/state 和 cat /sys/class/infiniband/$hca/ports/1/phys_state，端口状态非正常则为故障。 仅适用于A5。 |
| A050208 | 磁盘 | 分区 | 容器盘分区缺失 | 节点磁盘分区异常，容器盘分区缺失，会导致容器启动异常。 |
配置节点事件类告警通知
节点故障事件会上报到AOM，您可以在AOM配置短信、邮件等通知方式。
以下步骤基于AOM2.0配置。
