# 训练作业精度问题
#### 问题现象
使用ModelArts平台训练算法时，出现模型精度异常问题，常见问题如下：
1. 训练精度/验证精度低于预期。
2. 相同代码多次训练结果不一致。
3. loss不收敛、震荡或出现NaN。
 
#### 原因分析
可能存在如下原因：
1. 训练代码或训练参数发生变更。
   - 学习率、batch size、epoch、optimizer、scheduler等参数被修改；
   
   - 随机种子未固定；
   
   
   
   - 混合精度、梯度裁剪、梯度累积等策略变化；
   
   - CheckPoint加载逻辑异常。
    

2. 数据集或数据预处理存在差异。
   - 训练集、验证集路径配置错误。
   
   - 数据集版本发生变化。
   
   - 数据增强策略与预期不一致。
   
   - 标签文件错误、类别映射错误。
   
   - 数据读取顺序、shuffle设置异常。
   
   - 训练/验证数据划分不一致。
    

3. 环境依赖版本不一致。
   - PyTorch、TensorFlow、MindSpore等框架版本不同。
   
   - 第三方依赖库版本不同。
   
   - 镜像版本变化导致算子行为或默认参数不同。
    

4. 分布式训练配置异常。
   - 多卡训练时batch size、学习率未按比例调整。
   
   - 分布式sampler配置错误。
   
   - rank/world size配置异常。
   
   - 梯度同步异常。
   
   - 多机训练通信不稳定导致训练异常。
    

5. 资源或运行状态异常。
   - NPU利用率异常。
   
   - 节点异常、通信异常或存储读取异常。
    
 
#### 处理方法
1. 请您对作业代码进行排查分析，确认是否对训练代码和参数进行过修改。 - loss函数；
   - optimizer；
   - learning rate；
   - batch size；
   - epoch数；
   - 随机种子设置；
   
2. 检查数据集是否与正常训练时一致，或数据集是否正常训练过。
3. 如果多次训练精度波动较大，请检查是否固定随机种子。
4. 如果前面排查没问题，可考虑使用二分法定位排除节点问题。将本次训练作业的节点通过多次递归二分创建小规模作业，排查是否是某个节点静默故障导致的精度问题。