故障快恢
| 故障域 | 故障模式 | 故障概率 | 故障影响 | 爆炸半径 |
|---|---|---|---|---|
| 计算节点 | NPU故障 | 高 | 业务异常，基于故障码处理。 | 节点级 |
| NPU U die端口故障 | 低 | 端口转发功能失效，HCCL通信失败。 | 节点级 | |
| 计算柜内灵衢总线 | Unions芯片故障 | 中 | HCCL通信失败，超平面带宽降低。 | 节点级或者柜级 |
| Unions端口故障 | 低 | 通信失败。 | 节点级 维修涉及柜级 | |
| 交换柜灵衢总线 | 5808芯片故障 | 中 | HCCL通信失败，超平面带宽降低。 | 超节点级 |
| 光模块故障 | 高 | 光模块2+2保护，降lane亚健康运行。 | 柜级 | |
| 端口故障 | 中 | 端口转发功能失效，HCCL通信失败。 | 柜级 | |
| 参数面 | 1825芯片故障 | 低 | 设备不可用，HCCL通信失败。 | 节点级，维修涉及4个节点。 |
| spine交换机故障 | 中 | 性能下降。 | 多节点级 | |
| tor交换机故障 | 中 | 性能下降。 | 多节点级 | |
| 光模块故障 | 高 | 端口bond保护，业务不感知，带宽减半亚健康运行。 | 节点级 |
针对不同故障场景的快恢策略
| 故障场景序号 | 故障对象 | 故障影响 | DP | MAOS | 训练侧恢复策略 |
|---|---|---|---|---|---|
| 1 | NPU模组 | 中断/亚健康。 | 上报卡Unhealth | 隔离节点（A050203） | 隔离节点 + Job重调度。 |
| 2 | D2D链路 | 中断。 | 超过5s上报卡Unhealth | 隔离节点（A050203） | 隔离节点 + Job重调度。 |
| 3 | NPU板 | 中断。 | 上报卡Unhealth | 隔离节点（A050203） | 隔离节点 + Job重调度。 |
| 4 | D到L1 | 中断。 | 超过5s上报卡Unhealth | 隔离节点 （A050203） | 隔离节点 + Job重调度。 |
| 5 | L1 Unions故障 | 中断，带宽下降。 | 超过5s上报卡Unhealth | 隔离节点 （A050203） | 如果作业失败，重调度，如果作业不失败继续运行。 |
| 6 | L1到L2链路 | 中断，带宽下降。 | 无处理 | 不处理 | 如果作业失败，重调度，如果作业不失败继续运行。 |
| 7 | L2 Unions故障 | 中断，带宽下降。 | 无处理 | Q1：不处理 | 如果作业失败，重调度，如果作业不失败继续运行。 |
| 8 | L1出柜链路 | 中断/亚健康，带宽下降。 | 无处理 | 不处理 | 如果作业失败，重调度，如果作业不失败继续运行。 |
| 9 | 柜外5808故障 | 中断/亚健康，带宽下降。 | 无处理 | 不处理 | 如果作业失败，重调度，如果作业不失败继续运行。 |
| 10 | 交换板整体故障 | 中断，带宽下降。 | 超过5s上报卡Unhealth（整柜） | 隔离节点 （A050203） | 隔离节点 + Job重调度。 如果作业失败且没有节点被隔离，重调度，如果作业不失败继续运行。 |
| 11 | D到CPU | 中断，带宽下降。 | 无处理 | 隔离节点 （A050203） | 作业失败，重调度。 |
| 12 | CPU芯片 | 中断。 | 无处理 | 隔离节点 （A050202） | 作业失败，重调度。 |
| 13 | CPU到1825 | 中断/亚健康。 | 无处理 | 不处理 | 作业失败，重调度。 |
| 14 | 1825芯片 | 中断/亚健康。 | 无处理 | 不处理 | 作业失败，重调度。 |
| 15 | 1825到1825 板内Unions | 中断，参数面带宽下降。 | 无处理 | 不处理 | 作业失败，重调度。 |
| 16 | 1825单板 | 中断。 | 4个节点上报卡Unhealth | 隔离4个节点 | 隔离节点 + Job重调度。 |
| 17 | 1825网卡 | 中断，参数面带宽下降。 | 无处理 | 不处理 | 作业失败，重调度。 |
| 18 | 1825网卡出柜 | 亚健康，参数面带宽下降。 | 无处理 | 不处理 | 作业失败，重调度。 |
| 19 | 1825到交换板 | 中断，参数面带宽下降。 | 无处理 | 不处理 | 作业失败，重调度。 |
