文档首页/
AI开发平台ModelArts/
最佳实践/
LLM大语言模型训练推理/
主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.906）/
开启训练故障自动重启功能
更新时间：2024-08-17 GMT+08:00
开启训练故障自动重启功能
创建训练作业时，可开启自动重启功能。当环境问题导致训练作业异常时，系统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。
图1 开启故障重启
断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中，不断地保存训练结果（包括但不限于EPOCH、模型权重、优化器状态、调度器状态）。即便模型训练中断，也可以基于checkpoint接续训练。
当训练作业发生故障中断本次作业时，代码可自动从训练中断的位置接续训练，加载中断生成的checkpoint，中间不需要改动任何参数（支持预训练、LoRA微调、SFT微调）。
- 如果要使用自动重启功能，资源规格必须选择八卡规格。
- 当前功能还处于试验阶段，只有llama3-8B/70B适配。
