# 训练作业的监控内存指标持续升高直至作业失败
#### 问题现象
训练作业的"状态"为"运行失败"。
#### 原因分析
训练作业的监控内存指标持续升高，导致最后训练作业失败。
#### 处理步骤
1. 查询训练作业的日志和监控信息，是否存在明确的OOM报错信息。
   - 是，训练作业的日志里存在OOM报错，执行[2]。
   
   - 否，训练作业的日志里没有OOM报错，但是存在监控指标异常，执行[3]。
    
2. 排查训练代码是否存在不断占用资源的代码，使得资源未被合理使用。
   - 是，优化代码，等待作业运行正常。
   
   - 否，提高训练作业使用的资源规格或者联系技术支持。
    
3. 重启训练作业，使用CloudShell登录训练容器监控内存指标，确认是否有突发性的内存增加现象。
   - 是，排查内存突发增加的时间点附近的训练作业日志，优化对应的代码逻辑，减少内存申请。
   
   - 否，提高训练作业使用的资源规格或者联系技术支持。