# 故障快恢
表1常用故障场景 
| **故障域** | **故障模式**      | **故障概率** | **故障影响**                  | **爆炸半径**                                                |
|:---|:---|:---|:---|:---|
| 计算节点     | NPU故障         | 高      | 业务异常，基于故障码处理。             | 节点级                                                      |
| 计算节点     | NPU U die端口故障 | 低       | 端口转发功能失效，HCCL通信失败。        | 节点级                                                     |
| 计算柜内灵衢总线   | Unions芯片故障     | 中        | HCCL通信失败，超平面带宽降低。        | 节点级或者柜级                                                  |
| 计算柜内灵衢总线   | Unions端口故障      | 低       | 通信失败。                     | 节点级 维修涉及柜级 |
| 交换柜灵衢总线    | 5808芯片故障     | 中        | HCCL通信失败，超平面带宽降低。         | 超节点级                                                   |
| 交换柜灵衢总线    | 光模块故障       | 高       | 光模块2+2保护，降lane亚健康运行。      | 柜级                                                       |
| 交换柜灵衢总线    | 端口故障           | 中       | 端口转发功能失效，HCCL通信失败。          | 柜级                                                         |
| 参数面       | 1825芯片故障       | 低      | 设备不可用，HCCL通信失败。             | 节点级，维修涉及4个节点。                                          |
| 参数面       | spine交换机故障   | 中     | 性能下降。                    | 多节点级                                                   |
| 参数面       | tor交换机故障       | 中     | 性能下降。                      | 多节点级                                                     |
| 参数面       | 光模块故障         | 高      | 端口bond保护，业务不感知，带宽减半亚健康运行。 | 节点级                                                     |
   
#### 针对不同故障场景的快恢策略
表2故障快恢清单 
| 故障场景序号 | 故障对象              | 故障影响          | DP                | MAOS             | 训练侧恢复策略                                                                                          |
|:---|:---|:---|:---|:---|:---|
| 1    | NPU模组             | 中断/亚健康。       | 上报卡Unhealth       | 隔离节点（A050203）   | 隔离节点 + Job重调度。                                                                                  |
| 2     | D2D链路            | 中断。           | 超过5s上报卡Unhealth   | 隔离节点（A050203）   | 隔离节点 + Job重调度。                                                                                  |
| 3    | NPU板                 | 中断。            | 上报卡Unhealth        | 隔离节点（A050203）  | 隔离节点 + Job重调度。                                                                                   |
| 4    | D到L1              | 中断。           | 超过5s上报卡Unhealth    | 隔离节点 （A050203） | 隔离节点 + Job重调度。                                                                                  |
| 5    | L1 Unions故障         | 中断，带宽下降。    | 超过5s上报卡Unhealth    | 隔离节点 （A050203）  | 如果作业失败，重调度，如果作业不失败继续运行。                                                                         |
| 6     | L1到L2链路           | 中断，带宽下降。      | 无处理              | 不处理              | 如果作业失败，重调度，如果作业不失败继续运行。                                                                         |
| 7  | L2 Unions故障         | 中断，带宽下降。      | 无处理                  | Q1：不处理         | 如果作业失败，重调度，如果作业不失败继续运行。                                                                        |
| 8     | L1出柜链路           | 中断/亚健康，带宽下降。 | 无处理                | 不处理       | 如果作业失败，重调度，如果作业不失败继续运行。                                                                          |
| 9    | 柜外5808故障           | 中断/亚健康，带宽下降。  | 无处理               | 不处理       | 如果作业失败，重调度，如果作业不失败继续运行。                                                                          |
| 10   | 交换板整体故障            | 中断，带宽下降。    | 超过5s上报卡Unhealth（整柜） | 隔离节点 （A050203）   | 隔离节点 + Job重调度。 如果作业失败且没有节点被隔离，重调度，如果作业不失败继续运行。 |
| 11   | D到CPU               | 中断，带宽下降。      | 无处理               | 隔离节点 （A050203）  | 作业失败，重调度。                                                                                        |
| 12  | CPU芯片              | 中断。            | 无处理               | 隔离节点 （A050202）  | 作业失败，重调度。                                                                                       |
| 13   | CPU到1825         | 中断/亚健康。       | 无处理                | 不处理              | 作业失败，重调度。                                                                                         |
| 14    | 1825芯片            | 中断/亚健康。         | 无处理                 | 不处理             | 作业失败，重调度。                                                                                      |
| 15   | 1825到1825 板内Unions | 中断，参数面带宽下降。  | 无处理                | 不处理             | 作业失败，重调度。                                                                                     |
| 16    | 1825单板             | 中断。            | 4个节点上报卡Unhealth      | **隔离4个节点**     | 隔离节点 + Job重调度。                                                                                 |
| 17     | 1825网卡            | 中断，参数面带宽下降。   | 无处理                 | 不处理            | 作业失败，重调度。                                                                                      |
| 18   | 1825网卡出柜           | 亚健康，参数面带宽下降。   | 无处理                | 不处理           | 作业失败，重调度。                                                                                      |
| 19   | 1825到交换板           | 中断，参数面带宽下降。 | 无处理                | 不处理            | 作业失败，重调度。                                                                                     |