advisor异常值分析

适用场景

该功能主要针对以下训练问题现象：

• 训练日志中出现loss、grad norm等关键指标异常：
  • 出现Nan、Infinity等无效值。
  • 数值异常增大，超出常规认知范围。
• 存量模型训练中发现：
  • 当前loss与历史loss差异显著。
  • loss值突然异常波动（“loss飞掉”现象）。

此类异常现象可能由以下原因引起：

• 硬件层面：可能存在硬件静默故障（如坏卡）。
• 软件层面：可能是算子或软件栈问题。

环境准备

msprobe advisor已集成到ModelArts发布的镜像环境中，建议使用以下镜像进行相关操作。

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.1.rc1-py_3.10-hce_2.0.2503-aarch64-snt9b-20250514161205-a9c5055

获取NPU和GPU的dump数据

在PyTorch训练脚本中插入dump接口的方式如下：

from msprobe.pytorch import PrecisionDebugger
debugger = PrecisionDebugger(config_path='./config.json')
...
debugger.start() # 一般在训练循环开头启动工具。
... # 循环体
debugger.stop() # 一般在训练循环末尾结束工具。
debugger.step() # 在训练循环的最后需要重置工具，非循环场景不需要。

此处config.json配置使用统计量dump方式，示例如下：

{
    "task": "statistics",
    "dump_path": "./dump_path", 
    "rank": [],  
    "step": [3, 4, 5],  
    "level": "L1", 
    "enable_dataloader": false,
    "async_dump": false,
    "statistics": {
        "scope": [], 
        "list":[], 
        "data_mode": ["all"],
        "summary_mode": "statistics"
    }
}

这里指定了在第3、4、5个step进行数据dump。具体的step可以根据实际怀疑有精度问题的step前后进行调整。

执行advisor分析命令

使用以下命令执行msprobe advisor分析：

msprobe -f pytorch advisor -i ${dump_path}  -o ${log_path}

• -i参数指定的目录是采集到指定step的dump数据（例如step4）。
• -o参数指定输出advisor建议落盘到文本文件（例如advisor.log）。

命令执行后会回显类似下图的terminal打印，其中包含了根因节点、异常函数名称、位置、置信度等信息。置信度从1到0按照大小依次排列，为1表示分析到根因，小于1的情形可按照顺序再做二次问题排查。

图1 terminal打印示例

通过上述信息，您可以快速定位并解决训练过程中出现的异常值问题。

优化建议与注意事项

通过以下优化建议和注意事项，可以更高效地进行训练过程中的异常值分析，快速定位问题并解决问题。