查看科学计算大模型训练状态与指标

模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。

查看模型训练状态

在模型训练列表中查看训练任务的状态，各状态说明详见表1。

表1 训练状态说明
训练状态	训练状态含义
初始化	模型训练任务正在进行初始化配置，准备开始训练。
排队中	模型训练任务正在排队，请稍等。
运行中	模型正在训练中，训练过程尚未结束。
停止中	模型训练正在停止中。
已停止	模型训练已被用户手动停止。
失败	模型训练过程中出现错误，需查看日志定位训练失败原因。
已完成	模型训练已完成。

查看训练指标

对于已完成训练，训练状态是“训练完成”状态的任务，单击任务名称，可在“训练结果”页面查看训练指标，不同模型的训练指标介绍请参见表2。

图1 查看训练指标-Loss

点击放大

图2 查看训练指标-验证Loss
点击放大

图3 查看训练指标-高空Loss
点击放大

图4 查看训练指标-表面Loss
点击放大

图5 查看训练指标-评价指标
点击放大

表2 训练指标说明
模型	训练指标	指标说明
科学计算大模型	Loss	训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标，通常情况下越小越好。这里代表高空Loss（深海Loss）和表面Loss（海表Loss）的综合Loss。一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。
	高空Loss（深海Loss）	高空Loss（深海Loss）是衡量模型在高空层次变量或在深海变量预测结果与真实结果之间差距的指标。该值越小，表示模型在高空（深海）变量的预测精度越高。
	表面Loss（海表Loss）	表面Loss（海表Loss）是衡量模型在表面层次变量或在海表变量预测结果与真实结果之间差距的指标。该值越小，表示模型在表面（海表）变量的预测精度越高。
	RMSE	均方根误差，衡量预测值与真实值之间差距的指标。它是所有单个观测的平方误差的平均值的平方根。该值越小，代表模型性能越好。
	MAE	平均绝对误差，衡量预测值与真实值之间差距的指标。它是所有单个观测的绝对误差的平均值。该值越小，代表模型性能越好。
	ACC	ACC（异常相关系数，距平相关系数，Anomaly Correlation Coefficient）是一个重要的统计指标，用于衡量预报系统的质量。它通过计算预报值与观测值之间的相关性来评估预报的准确性。ACC的计算涉及到预报值、观测值和气候平均值的差异，其值范围从-1到+1，值越接近+1表示预报与观测的一致性越好，值为0表示没有相关性，而负值则表示反向相关。
	RQE	衡量预测值与真实值之间差距的指标。它是所有单个观测的相对误差的平方和。该值越小，代表模型性能越好。
	验证loss	验证损失是用于衡量模型在验证集上预测结果和真实结果之间的差距的指标，通常情况越小越好，是一个综合所有损失的指标，可以用于调整超参数，并用于判断是否过拟合，一般来说，一个正常的valid_loss应该是单调递减的，即随着训练的进行，valid_loss值不断减小，直到收敛到一个较小的值，需要和训练集loss协同观察。

获取训练日志

单击训练任务名称，可以在“日志”页面查看训练过程中产生的日志。对于训练异常或失败的任务也可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见科学计算大模型训练常见报错与解决方案。

训练日志可以按照不同的节点（训练阶段）进行筛选查看。分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点（如worker-0表示第一个工作节点）进行筛选查看。

图6 获取训练日志

训练异常定位方法

模型训练失败时，可以按照如下定位思路对训练任务做初步定位。

在训练任务列表查看任务失败原因。
模型启动训练后，可以在模型训练列表中查看训练任务的状态，当任务状态为“失败”时，可将鼠标放置在“失败”上，可以查看到任务失败的概要信息。
单击任务名，进入任务详情页查看训练任务运行关键事件信息。
单击“事件”页签，可查看训练任务子任务运行事件，通过事件可以观察到当前任务的运行情况。事件可以按照“正常、异常、告警”三类事件类型过滤。
获取当前任务运行的worker、workerIP以及任务异常退出时的节点和退出码信息。
在ModelArts Studio训练任务页面单击需要查看的任务名，进入“任务详情”页，在“工作流节点详情”下可以查看到当前任务所运行的节点及IP信息。
当训练任务运行失败时，可查看“模型训练详情 -> 基本信息 -> 状态”，单击“查看失败节点清单”获取训练任务故障节点及退出码信息。
训练作业遇到问题时，可查看“模型训练详情 -> 日志”，多数场景下的问题可以通过日志报错信息直接定位。
如果训练作业运行失败，ModelArts Studio会自动识别导致作业失败的原因，在训练日志界面上给出提示并对部分常见训练错误给出分析建议。包含失败的可能原因、推荐的解决方案。

图7 训练错误分析建议

针对分布式作业，只会显示当前节点的一个分析结果，作业的失败需要综合各个节点的失败原因做一个综合判断。