查看训练作业事件

场景描述

在训练作业的整个生命周期中，从用户可见的开始阶段起，系统后台会记录每一个关键事件点，用户可以随时在对应训练作业的详情页面查看这些记录。这样，用户能够清晰地了解训练作业的进展和状态，确保信息的透明度和可追溯性。

事件列表

方便用户更清楚地了解训练作业运行过程，遇到任务异常时，更加准确地排查定位问题。当前支持的作业事件如下所示：

• 训练作业创建成功。
• [Job: job] WorkloadQueueOrderChanged: position 1 in queue。

  说明：该事件上报当前作业排队的位置，一般情况下排队位置数会从大变小。但因为有优先级和抢占机制，作业排队的位置数也会由小变大。

• [Job: job] WorkloadScheculeFail: faile schedule ma-job-xxx: insufficient resource[cpu: xxx, memory: xxx]。

  说明：该事件上报当前排队的作业资源不足具体信息，只有作业处于第一位的才会上报。

• 训练作业创建失败报错。
• 准备阶段超时。可能原因是跨区域算法同步或者创建共享存储超时。
• 训练作业已排队，正在等待资源分配。
• 训练作业排队失败。
• 训练作业开始运行。
• 训练作业运行成功，开始保留。
• 训练作业运行失败，开始保留。
• 训练作业运行成功。
• 训练作业运行失败。
• 训练作业被抢占。
• 系统检测到您的作业疑似卡死，请及时前往作业详情界面查看并处理。
• 训练作业已重启。
• 训练作业已被手动终止。
• 训练作业已被终止（最大运行时长：x h）。
• 训练作业已被手动删除。
• 计费信息同步结束。
• [worker-0] [耗时： 秒] 初始化环境预检完成。
• [worker-0] [耗时： 秒] 检测项预检未通过，异常：
• [worker-0] [耗时： 秒] 检测项预检未通过，错误：
• [worker-0] [耗时： 秒] 训练代码下载完成。
• [worker-0] [耗时： 秒] 训练代码下载失败，失败原因：
• [worker-0] [耗时： 秒] 训练输入（参数名称：）下载完成。
• [worker-0] [耗时： 秒] 训练输入（参数名称：）下载失败，失败原因：
• [worker-0] [耗时： 秒] 训练输出（参数名称：）上传完成。
• [worker-0] [耗时： 秒] 训练输出（ ）预取成功。
• [worker-0] [耗时： 秒] 训练预启动脚本执行完成。
• [worker-0] [耗时： 秒] Python依赖包安装完成。
• [worker-0] rankTable训练加速库安装结束。
• [worker-0] modelarts-turbo训练加速库安装结束。
• [worker-0] turbo训练加速库安装结束。
• [worker-0] 训练discover库安装结束。
• [worker-0] 训练输出和日志上传进程退出，文件将不再同步。
• [worker-0] 训练容器心跳检测超时。
• [worker-0] 训练作业开始运行。
• [worker-0] 训练开始。
• [worker-0] 训练成功。开始保留。
• [worker-0] 训练失败。开始保留。
• [worker-0] 训练结束，退出码。
• [worker-0] [耗时： 秒] 训练输出（参数名称：）上传完成。

训练运行到结束的过程中，关键事件支持手动/自动刷新。

约束限制

训练作业的事件信息系统会自动保存30天，过期会被清除。

查看操作

1. 在ModelArts管理控制台的左侧导航栏中选择“模型开发与训练 > 模型训练”（旧版控制台：“模型训练 > 训练作业”）。
2. 在训练作业列表中，单击作业名称进入训练作业详情页面。
3. 在训练作业详情页面，单击“事件”页签查看事件类型、事件来源、事件信息、事件发生时间等信息。
   图1 查看事件信息