Cluster资源池节点故障如何定位
故障说明和处理建议
对于ModelArts Lite资源池，每个节点会以DaemonSet方式部署node-agent组件，该组件会检测节点状态，并将检测结果写到K8S NodeCondtition中。同时，节点故障指标默认会上报到AOM，您可在AOM配置告警通知。
当发生节点异常时，在故障初步分析阶段，您可先按表1识别是否为亚健康并自助进行处理，若不是，则为故障，请联系客户经理发起维修流程（若无客户经理可提交工单）。
|
NodeCondition Type |
分类 |
子类 |
异常中文描述 |
检测方法 |
处理建议 |
|---|---|---|---|---|---|
|
NT_NPU_DEVICE |
NPU |
其他 |
npu dcmi device异常。 |
NPU设备异常，昇腾dcmi接口中返回设备存在重要或紧急告警。 |
可能是亚健康，建议先重启节点，若重启节点后未恢复，发起维修流程。 |
|
NT_NPU_NET |
NPU |
链路 |
npu dcmi net异常。 |
NPU网络链接异常。 |
可能是亚健康，建议先重启节点，若重启节点后未恢复，发起维修流程。 |
|
NT_NPU_CARD_LOSE |
NPU |
掉卡 |
NPU卡丢失。 |
节点规格的NPU卡数和k8sNode中可调度卡数不一致。 |
可能是亚健康，建议先重启节点，若重启节点后未恢复，发起维修流程。 |
|
NT_NPU_OTHER |
NPU |
其他 |
NPU其他错误。 |
检测到的其他NPU错误，通常为不可自纠正的异常，请联系技术人员支持。 |
发起维修流程。 |
|
NT_NPU_ECC_COUNT |
NPU |
显存 |
NPU ECC次数达到维修阈值。 |
NPU的HBM总的多Bit Ecc隔离地址记录达到64个。 |
发起维修流程。 |
|
NT_NET_NTP_CHECK |
Runtime |
其他 |
ntp异常。 |
ntpd或者chronyd服务异常。 |
发起维修流程。 |
|
NT_KUBE_DISK_READONLY_CHECK |
Runtime |
其他 |
Kubelet硬盘只读 |
以下目录只读： /mnt/paas/kubernetes/kubelet |
发起维修流程。 |
|
NT_GPU_SMI_ECC_CHECK |
GPU |
显存 |
GPU ECC错误。 |
通过nvidia-smi -a查询到存在Pending Page Blacklist为Yes的记录，或多比特Register File大于0。对于Ampere架构的GPU，存在以下场景：
（参考NVIDIA GPU Memory Error Management） Ampere架构GPU显存错误分级：
|
可能是亚健康，建议先重启节点，若重启节点后未恢复，发起维修流程。 |
|
NT_GPU_SMI_ERROR |
GPU |
其他 |
nvidia-smi返回信息中包含ERR。 |
通过nvidia-smi -a查询到ERR!，通常为硬件问题，如电源风扇等问题。 |
发起维修流程。 |
|
NT_GPU_SMI_RUNTIME |
GPU |
其他 |
nvidia-smi执行错误，超时或者不存在。 |
执行nvidia-smi退出码非0。 |
发起维修流程。 |
|
NT_GPU_SMI_ECC_COUNT |
GPU |
显存 |
ECC错误到达64次 |
通过nvidia-smi -a查询到Retired Pages中，Single Bit和Double Bit之和大于64。 |
发起维修流程。 |
|
NT_GPU_CARD_LOSE |
GPU |
掉卡 |
GPU卡丢失。 |
节点规格的GPU卡数和以下任意值不相等：
|
发起维修流程。 |
|
NT_GPU_SMI_INFOROM_ERROR |
GPU |
其他 |
infoROM告警。 |
执行nvidia-smi的返回信息中包含“infoROM is corrupted”告警。 |
发起维修流程。 |
|
NT_GPU_OTHER |
GPU |
其他 |
GPU其他错误。 |
检测到的其他GPU错误，通常为硬件问题，请联系技术人员支持。 |
发起维修流程。 |
|
NT_NET_IB_CHECK |
IB |
链路 |
IB网卡异常。 |
ibstat查看网卡非Active状态。 |
可能是亚健康，建议先重启节点，若重启节点后未恢复，发起维修流程。 |
配置节点告警通知
节点故障指标(nt_npg)默认会上报到AOM，您可以在AOM配置短信、邮件等通知方式。
以下步骤基于AOM1.0配置。
- 登录AOM控制台
- 在左侧导航栏选择“告警 > 告警规则”，在右上角单击“添加告警”。
- 设置告警规则（以NPU掉卡为例）。
- 规则类型：选择阈值类告警。
- 监控对象：选择命令行输入。
- 命令行输入框：
sum(nt_npg{type="NT_NPU_CARD_LOSE"} !=2) by (cluster_name, node_ip,type)图2 告警规则设置
- 告警条件：选择触发条件在1个监控周期内，如果平均值>=1达到连续1次时，产生重要告警。
- 告警通知（可选）：若需要将告警通过邮件、手机方式通知您，可在告警通知处，为此告警规则配置行动规则。若此处无行动规则，请新建告警行动规则。
