# 查看科学计算大模型训练状态与指标 模型启动训练后，可以在模型训练列表中查看训练任务的状态，单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志。 #### 查看模型训练状态 在模型训练列表中查看训练任务的状态，各状态说明详见[表1]。 表1训练状态说明 | 训练状态 | 训练状态含义 | |:---|:---| | 初始化 | 模型训练任务正在进行初始化配置，准备开始训练。 | | 等待创建 | 模型训练任务可用算力不足，等待创建，待其他运行中的任务算力释放后开始创建。 | | 排队中 | 模型训练任务正在排队，请稍等。 | | 运行中 | 模型正在训练中，训练过程尚未结束。 | | 停止中 | 模型训练正在停止中。 | | 已停止 | 模型训练已被用户手动停止。 | | 失败 | 模型训练过程中出现错误，需查看日志定位训练失败原因。 | | 已完成 | 模型训练已完成。 | #### 查看训练指标 对于已完成训练，训练状态是"训练完成"状态的任务，单击任务名称，可在"训练结果"页面查看训练指标，不同模型的训练指标介绍请参见[图1]。 图1查看训练指标-Loss ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571047552.png) 图2查看训练指标-验证Loss ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601726707.png) 图3查看训练指标-高空Loss ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601726701.png) 图4查看训练指标-表面Loss ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571047558.png) 图5查看训练指标-评价指标 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601606749.png) 表2训练指标说明 | 模型 | 训练指标 | 指标说明 | |:---|:---|:---| | 科学计算大模型 | Loss | 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标，通常情况下越小越好。这里代表高空Loss和表面Loss的综合Loss。 一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。 | | 科学计算大模型 | 高空Loss | 高空Loss是衡量模型在高空层次变量预测结果与真实结果之间差距的指标。该值越小，表示模型在高空变量的预测精度越高。 | | 科学计算大模型 | 表面Loss | 表面Loss是衡量模型在表面层次变量预测结果与真实结果之间差距的指标。该值越小，表示模型在表面变量的预测精度越高。 | | 科学计算大模型 | RMSE | 均方根误差，衡量预测值与真实值之间差距的指标。它是所有单个观测的平方误差的平均值的平方根。该值越小，代表模型性能越好。 | | 科学计算大模型 | MAE | 平均绝对误差，衡量预测值与真实值之间差距的指标。它是所有单个观测的绝对误差的平均值。该值越小，代表模型性能越好。 | | 科学计算大模型 | ACC | ACC（异常相关系数，距平相关系数，Anomaly Correlation Coefficient）是一个重要的统计指标，用于衡量预报系统的质量。它通过计算预报值与观测值之间的相关性来评估预报的准确性。ACC的计算涉及到预报值、观测值和气候平均值的差异，其值范围从-1到+1，值越接近+1表示预报与观测的一致性越好，值为0表示没有相关性，而负值则表示反向相关。 | | 科学计算大模型 | RQE | 衡量预测值与真实值之间差距的指标。它是所有单个观测的相对误差的平方和。该值越小，代表模型性能越好。 | | 科学计算大模型 | 验证loss | 验证损失是用于衡量模型在验证集上预测结果和真实结果之间的差距的指标，通常情况越小越好，是一个综合所有损失的指标，可以用于调整超参数，并用于判断是否过拟合。 一般来说，一个正常的valid_loss应该是单调递减的，即随着训练的进行，valid_loss值不断减小，直到收敛到一个较小的值，需要和训练集loss协同观察。 | #### 查看中间产物 训练任务会依据配置的训练轮数（epoch）数量生成中间产物模型，每个epoch生成1个中间产物模型，并记录当前模型的验证集loss指标。在全部的模型中，loss最低的模型标识为最优模型。对于全部的中间产物以及最终产物模型，均可以进行模型发布操作，发布后的模型会作为模型资产同步显示在"空间资产 \> 模型"列表中。 图6查看中间产物 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601726703.png) #### 获取训练日志 单击训练任务名称，可以在"日志"页面查看训练过程中产生的日志。对于训练异常或失败的任务也可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见[科学计算大模型训练常见报错与解决方案](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0191.html)。 训练日志可以按照不同的节点（训练阶段）进行筛选查看。分布式训练时，任务被分配到多个工作节点上进行并行处理，每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点（如worker-0表示第一个工作节点）进行筛选查看。 图7获取训练日志 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601726709.png) #### 训练异常定位方法 模型训练失败时，可以按照如下定位思路对训练任务做初步定位。 1. 在训练任务列表查看任务失败原因。 模型启动训练后，可以在模型训练列表中查看训练任务的状态，当任务状态为"失败"时，可将鼠标放置在"失败"上，可以查看到任务失败的概要信息。 图8查看任务失败信息 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601726201.png) 2. 单击任务名，进入任务详情页查看训练任务运行关键事件信息。 单击"事件"页签，可查看训练任务子任务运行事件，通过事件可以观察到当前任务的运行情况。事件可以按照"正常、异常、告警"三类事件类型过滤。 图9查看事件信息 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206688.png) 3. 获取当前任务运行的worker、workerIP以及任务异常退出时的节点和退出码信息。 在ModelArts Studio训练任务页面单击需要查看的任务名，进入"任务详情"页，在"工作流节点详情"下可以查看到当前任务所运行的节点及IP信息。 图10查看节点信息 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206672.png) 4. 当训练任务运行失败时，可查看"模型训练详情 \> 基本信息 \> 状态"，单击"查看失败节点列表"获取训练任务故障节点及退出码信息。 图11查看失败节点列表 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601606223.png) 5. 训练作业遇到问题时，可查看"模型训练详情 \> 日志"，多数场景下的问题可以通过日志报错信息直接定位。 如果训练作业运行失败，ModelArts Studio会自动识别导致作业失败的原因，在训练日志界面上给出提示并对部分常见训练错误给出分析建议。包括失败的可能原因和推荐的解决方案。 图12训练错误分析建议 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601726199.png) ![](https://support.huaweicloud.com/usermanual-pangulm/public_sys-resources/note_3.0-zh-cn.png) 针对分布式作业，只会显示当前节点的一个分析结果，作业的失败需要综合各个节点的失败原因做综合判断。