训练作业的监控内存指标持续升高直至作业失败

问题现象

训练作业的“状态”为“运行失败”。

原因分析

训练作业的监控内存指标持续升高导致最后训练作业失败。

处理步骤

1. 查询训练作业的日志和监控信息，是否存在明确的OOM报错信息。
   • 是，训练作业的日志里存在OOM报错，执行2。
   • 否，训练作业的日志里没有OOM报错，但是存在监控指标异常，执行3。
2. 排查训练代码是否存在不断占用资源的代码，使得资源未被合理使用。
   • 是，优化代码，等待作业运行正常。
   • 否，提高训练作业使用的资源规格或者联系技术支持。
3. 重启训练作业，使用CloudShell登录训练容器监控内存指标，确认是否有突发性的内存增加现象。
   • 是，排查内存突发增加的时间点附近的训练作业日志，优化对应的代码逻辑，减少内存申请。
   • 否，提高训练作业使用的资源规格或者联系技术支持。