模型高可用功能说明

什么是模型训练高可用功能

在长时间、大规模的模型训练中，受限于硬件稳定性、网络波动等原因，训练作业难免会出现中断。如果训练作业能够在中断后快速恢复，将极大地提高训练设备的利用率，降低用户训练的时间成本和算力损失。

ModelArts提供了模型训练高可用功能，包括断点续训练、故障检测、自动重启、故障节点隔离、卡死检测、算子重执行等能力，用于提升训练作业在长时间运行、多机多卡训练等大模型训练场景下的稳定性。帮助用户在发生故障时，能够自动恢复训练状态并继续运行，将算力损失降至最低。

模型训练高可用主要解决以下问题：

• 训练过程中节点、芯片、网络或存储等基础设施异常导致作业失败。
• 多机多卡训练过程中某个节点异常导致整体任务失败。
• 训练进程无退出但长时间无有效进展，即训练卡死。
• 通信链路偶发异常导致分布式训练失败。

1. ModelArts高可用配置可以提升训练作业自动恢复能力，但不能替代训练代码的容错设计，您在设计训练代码时，依旧要充分考虑代码的容错性。
2. 对于长时间训练任务，尤其是大模型训练任务，建议必须适配CheckPoint保存和断点续训练能力。

模型训练高可用能力地图

表1列举了ModelArts支持的高可用能力及使用场景，请您根据实际需求获取对应的能力。