文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型训练推理/ 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.908）/ 附录：微调训练常见问题
更新时间：2024-09-14 GMT+08:00
查看PDF
分享

附录：微调训练常见问题

问题1：在训练过程中遇到NPU out of memory

解决方法：

  1. 容器内执行以下命令，指定NPU内存分配策略的环境变量，开启动态内存分配，即在需要时动态分配内存，可以提高内存利用率，减少OOM错误的发生。 
    export PYTORCH_NPU_ALLOC_CONF = expandable_segments:True
  2. 将yaml文件中的per_device_train_batch_size调小，重新训练如未解决则执行下一步。
  3. 替换深度学习训练加速的工具或增加zero等级，可参考模型NPU卡数、梯度累积值取值表，如原使用Accelerator可替换为Deepspeed-ZeRO-1，Deepspeed-ZeRO-1替换为Deepspeed-ZeRO-2以此类推，重新训练如未解决则执行下一步。
    1. - ZeRO-0 数据分布到不同的NPU
    2. - ZeRO-1 Optimizer States分布到不同的NPU
    3. - ZeRO-2 Optimizer States、Gradient分布到不同的NPU
    4. - ZeRO-3 Optimizer States、Gradient、Model Parameter分布到不同的NPU
  4. 增加卡数重新训练，未解决找相关人员定位。

问题2：访问容器目录时提示Permission denied

解决方法：

由于在容器中没有相应目录的权限，会导致访问时提示Permission denied。可以在宿主机中对相关目录做权限放开，执行命令如下。

chmod 777 -R ${dir}

问题3：训练过程报错：ImportError: XXX not found in your environment: flash_attn

根因：昇腾环境暂时不支持flash_attn接口

规避措施：修改dynamic_module_utils.py文件，将180-184行代码注释掉

vim /home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/transformers/dynamic_module_utils.py

问题4：Error waiting on exit barrier错误

错误截图：

报错原因：多线程退出各个节点间超时时间默认为300s，时间设置过短。

解决措施：

修改容器内torch/distributed/elastic/agent/server/api.py文件参数：

vim /home/ma-user/anaconda3/envs/PyTorch-2.2.0/lib/python3.10/site-packages/torch/distributed/elastic/agent/server/api.py

修改def _exit_barrier(self)方法中的barrier_timeout参数，修改后如图1所示。

#修改前
barrier_timeout=self._exit_barrier_timeout
#修改后
barrier_timeout=3000
图1 修改后的barrier_timeout参数

相关文档