模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。
查看模型训练状态
在模型训练列表中查看训练任务的状态,各状态说明详见表1。
表1 训练状态说明
训练状态 |
训练状态含义 |
初始化 |
模型训练任务正在进行初始化配置,准备开始训练。 |
已完成 |
模型训练已完成。 |
运行中 |
模型正在训练中,训练过程尚未结束。 |
创建失败 |
训练任务创建失败。 |
训练失败 |
模型训练过程中出现了非预期的异常情况,需查看日志定位训练异常原因。 |
训练异常 |
模型训练过程中出现了非预期的异常情况,需查看日志定位训练异常原因。 |
已停止 |
模型训练已被用户手动停止。 |
查看训练指标
对于训练状态为“已完成”的任务,单击任务名称,可在“训练结果”页面查看训练指标,模型的训练指标介绍请参见表2。
图1 查看训练指标
表2 训练指标说明
模型 |
训练指标 |
指标说明 |
NLP大模型 |
训练损失值 |
训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标,通常情况下越小越好。
一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 |
验证损失值 |
模型在验证集上的损失值。值越小,意味着模型对验证集数据的泛化能力越好。 |
获取训练日志
单击训练任务名称,可以在“日志”页面查看训练过程中产生的日志。
对于训练异常或失败的任务可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见NLP大模型训练常见报错与解决方案。
训练日志可以按照不同的节点(训练阶段)进行筛选查看。分布式训练时,任务被分配到多个工作节点上进行并行处理,每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点(如worker-0表示第一个工作节点)进行筛选查看。
图2 获取训练日志