训练作业容错检查
用户在训练模型过程中，存在因硬件故障而产生的训练失败场景。针对硬件故障场景，ModelArts提供容错检查功能，帮助用户隔离故障节点，优化用户训练体验。
容错检查包括两个检查项：环境预检测与硬件周期性检查。当环境预检查或者硬件周期性检查任一检查项出现故障时，隔离故障硬件并重新下发训练作业。针对于分布式场景，容错检查会检查本次训练作业的全部计算节点。
下图中有四个场景，其中场景四为正常训练作业失败场景，其他三个场景下可开启容错功能进行训练作业自动恢复。
- 场景一：环境预检测失败、硬件检测出现故障，系统隔离所有故障节点并重新下发训练作业。
图1 预检失败&硬件故障
- 场景二：环境预检测失败、硬件无故障，系统随机再分配节点并重新下发训练作业。
图2 预检失败&硬件正常
- 场景三：环境预检测成功并进入用户业务阶段，硬件检测出现故障并且用户业务非正常退出，系统隔离所有故障节点并重新下发训练作业。
图3 业务失败&硬件故障
- 场景四：环境预检测成功并进入用户业务阶段，硬件无故障，当用户业务异常时系统以失败状态结束作业。
图4 业务失败&硬件正常
隔离故障节点后，系统会在新的计算节点上重新创建训练作业。如果资源池规格紧张，重新下发的训练作业会以第一优先级进行排队。如果排队时间超过30分钟，训练作业会自动退出。该现象表明资源池规格任务紧张，训练作业无法正常启动，推荐您购买专属资源池补充计算节点。
如果您使用专属资源池创建训练作业，容错检查识别的故障节点会被剔除。系统自动补充健康的计算节点至专属资源池。（该功能即将上线）
容错检查详细介绍请参考：
- 开启容错检查
- 检测项目与执行条件
- 触发容错环境检测达到的效果
- 环境预检查通过后，如果发生硬件故障会导致用户业务中断。您可以在训练中补充reload ckpt的代码逻辑，使能读取训练中断前保存的预训练模型。指导请参考设置断点续训练。
开启容错检查
用户可以在创建训练作业时通过设置自动重启的方式开启容错检查。
- 使用ModelArts Standard控制台的创建训练作业页面设置自动重启：
用户可以在控制台页面通过开关的方式开启自动重启。“自动重启”开关默认不开启，表示不做重新下发作业，也不会启用环境检测。打开开关后，允许设置重启次数为1~128次。
图5 自动重启设置
- 使用API接口设置容错检查：
用户可以通过API接口的方式开启自动重启。创建训练作业时，在“metadata”字段的“annotations”中传入“fault-tolerance/job-retry-num”字段。
添加“fault-tolerance/job-retry-num”字段，视为开启自动重启，value的范围可以设置为1~128的整数。value值表示最大允许重新下发作业的次数。如果不传入则默认为0，表示不做重新下发作业，也不会启用环境检测。
图6 设置API
检测项目与执行条件
|
检测项目 |
item（日志关键字） |
执行条件 |
检测成功要求 |
|---|---|---|---|
|
域名检测 |
dns |
无 |
volcano容器的域名都解析成功（/etc/volcano下的“.host”文件中的域名解析成功） |
|
磁盘空间-容器根目录 |
disk-size root |
无 |
大于32GB |
|
磁盘空间-/dev/shm目录 |
disk-size shm |
无 |
大于1GB |
|
磁盘空间-/cache目录 |
disk-size cache |
无 |
大于32GB |
|
ulimit检查 |
ulimit |
使用IB网络时 |
|
|
gpu检查 |
gpu-check |
使用gpu，且使用v2训练引擎时（北京四暂无） |
检测到gpu |
触发容错环境检测达到的效果
- 容错检查正常通过时，会打印检测项目的日志，表示具体涉及的检查项目成功。您可以通过在日志中搜索“item”关键字查看。当容错检查正常通过时，可以减少运行故障上报问题。
- 容错检查失败时，会打印检查失败的日志。您可以通过在日志中搜索“item”关键字查看失败信息。
如果作业重启次数没有达到设定的次数，则会自动做重新下发作业。您可以通过搜索“error,exiting”关键字查找作业重启失败结束的日志。
使用reload ckpt恢复中断的训练
在容错机制下，如果因为硬件问题导致训练作业重启，用户可以在代码中读取预训练模型，恢复至重启前的训练状态。用户需要在代码里加上reload ckpt的代码，使能读取训练中断前保存的预训练模型。具体请参见断点续训练。
