监控告警
在AOM的指标浏览页面，将指标源选择为Prometheus_AOM_Default，可以使用对应指标名称查看指标情况。
| 分类 | 名称 | 指标名 | 指标含义 | 获取方式 |
|---|---|---|---|---|
| NPU UB网络 | UB接收业务报文FLIT数 | ma_node_npu_ub_rx_busi_flits_total | UB网络接收方向从MAC收到的业务报文总FLIT数 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> |
| UB发送业务报文FLIT数 | ma_node_npu_ub_tx_busi_flits_total | UB网络发送方向发往MAC的业务报文总FLIT数 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB接收方向发送ACK数量 | ma_node_npu_ub_rx_send_ack_flits_total | UB网络接收方向向对端释放的ACK数量累加值 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB发送方向接收ACK数量 | ma_node_npu_ub_tx_recv_ack_flits_total | UB网络发送方向收到对端释放的ACK数量累加值 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB发起重传次数 | ma_node_npu_ub_retry_requests_total | UB网络发起重传次数累加值 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB响应重传次数 | ma_node_npu_ub_retry_acks_total | UB网络响应对端重传次数累加值 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB CRC错误次数 | ma_node_npu_ub_crc_errors_total | UB网络CRC校验错误次数累加值 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB接收方向输出错误报文数 | ma_node_npu_ub_rx_out_errors_total | UB网络接收方向输出错误报文总数 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB发送方向输出错误报文数 | ma_node_npu_ub_tx_out_errors_total | UB网络发送方向输出错误报文总数 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB接收方向长度错误报文数 | ma_node_npu_ub_rx_length_errors_total | UB网络接收方向长度错误报文数量 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB发送方向长度错误报文数 | ma_node_npu_ub_tx_length_errors_total | UB网络发送方向长度错误报文数量 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB接收方向异常指示报文数 | ma_node_npu_ub_rx_err_ind_packets_total | UB网络接收方向带err指示的报文数量 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB发送方向异常指示报文数 | ma_node_npu_ub_tx_err_ind_packets_total | UB网络发送方向带err指示的报文数量 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB接收方向丢弃指示报文数 | ma_node_npu_ub_rx_drop_ind_packets_total | UB网络接收方向带drop_ind指示的报文数量 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB发送方向丢弃指示报文数 | ma_node_npu_ub_tx_drop_ind_packets_total | UB网络发送方向带drop_ind指示的报文数量 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB接收方向未知报文数 | ma_node_npu_ub_rx_unknown_packets_total | UB网络接收方向未知报文数量 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB发送方向未知报文数 | ma_node_npu_ub_tx_unknown_packets_total | UB网络发送方向未知报文数量 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| UB接收方向路由错误次数 | ma_node_npu_ub_rx_route_errors_total | UB网络接收方向route错误次数 | hccn_tool -g -stat -i <dev_id> -u <udie_id> -p <port_id> | |
| NPU网络上行速率 | ma_node_npu_network_tx_rate_bytes_per_second | 容器所使用的NPU网络模块上行速率 | hccn_tool -g -bandwidth -i <dev_id> -u <udie_id> -p <port_id> | |
| NPU网络下行速率 | ma_node_npu_network_rx_rate_bytes_per_second | 容器所使用的NPU网络模块下行速率 | hccn_tool -g -bandwidth -i <dev_id> -u <udie_id> -p <port_id> |
| 隔离码 | 分类 | 子类 | 异常中文描述 | 检测方法 |
|---|---|---|---|---|
| A050812 | NPU | 超平面 | 超平面L1级别故障，最大影响带宽小于12%。 | 带外硬件告警监控发现。 |
| A050813 | NPU | 超平面 | 超平面L2级别故障，最大可能影响25%带宽。 | 带外硬件告警监控发现。 |
| A050814 | NPU | 超平面 | 超平面L3级别故障，最大可能影响50%带宽。 | 带外硬件告警监控发现。 |
| A050815 | NPU | 参数面 | 参数面L1级别故障，最大可能影响25%带宽。 | 带外硬件告警监控发现。 |
| A050816 | NPU | 参数面 | 参数面L2级别故障，最大可能影响50%带宽。 | 带外硬件告警监控发现。 |
| A050804 | NPU | 硬件故障 | 服务器硬件故障会影响业务，立即隔离维修。包括NPU，CPU，内存等部件故障。 | 带外硬件告警监控发现。 |
| A050820 | NPU | 硬件故障 | 服务器硬件故障，存在隐患。 | 带外硬件告警监控发现。 |
| A050821 | NPU | 1825故障 | 带内插件检测到1825存在亚健康故障。 | 通过rdma-dp检测1825 SubHealthFault故障。 |
| A050822 | NPU | 1825故障 | 带内插件检测到1825存在故障。 | 通过rdma-dp检测1825 SeparateDPU故障。 |
| A050823 | NPU | UB故障 | UB链路状态异常。 | 通过hccn tool检测UB状态故障。 |
