- 功能总览
- 产品介绍
- 计费说明
- 快速入门
- 用户指南
- 最佳实践
- API参考
- SDK参考
-
常见问题
- 高频常见问题
- 大模型概念类
-
大模型微调训练类
- 无监督领域知识数据量无法支持增量预训练，如何进行模型学习
- 如何调整训练参数，使盘古大模型效果最优
- 如何判断盘古大模型训练状态是否正常
- 如何评估微调后的盘古大模型是否正常
- 如何调整推理参数，使盘古大模型效果最优
- 为什么微调后的盘古大模型总是重复相同的回答
- 为什么微调后的盘古大模型的回答中会出现乱码
- 为什么微调后的盘古大模型的回答会异常中断
- 为什么微调后的盘古大模型只能回答训练样本中的问题
- 为什么在微调后的盘古大模型中输入训练样本问题，回答完全不同
- 为什么微调后的盘古大模型评估结果很好，但实际场景表现很差
- 为什么多轮问答场景的盘古大模型微调效果不好
- 数据量足够，为什么盘古大模型微调效果仍然不好
- 数据量和质量均满足要求，为什么盘古大模型微调效果不好
- 大模型使用类
- 提示词工程类
- 文档下载
- 通用参考
展开导读
链接复制成功！
构建微调训练任务
- 登录ModelArts Studio平台，进入所需空间。
- 在左侧导航栏中选择“模型开发 > 模型训练”，单击界面右上角“创建训练任务”。
- 在“创建训练任务”页面进行配置。
- 训练配置：按照图1所示进行配置。
- 数据配置：选择构建微调训练任务数据集中构建的微调训练数据集，参考表1完成配置，配置示例如图2。
表1 训练参数说明 参数分类
参数名称
参数说明
模型输出控制参数
训练轮数
表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。
取值范围：[1-1000]。
损失类型
用来衡量模型预测结果与真实结果之间的差距的函数，提供MAE（平均绝对误差）、MSE（均方误差）两种损失函数。
- MSE对于异常值非常敏感，因为它会放大较大的误差。因此，如果你数据中没有异常值，或者希望模型对大的误差给予更大的惩罚，可选择MSE。
- 如果数据中存在异常值，或者希望模型对所有的误差都一视同仁，可选择MAE。
海表变量相对深海变量的权重
指在模型训练过程中对海表变量相对于深海层变量赋予的权重，总Loss=深海层Loss+surface_loss_weight*海表Loss。
取值范围：(0.05, 10)。
正则化参数
路径删除概率
用于定义路径删除机制中的删除概率。路径删除是一种正则化技术，它在训练过程中随机删除一部分的网络连接，以防止模型过拟合。这个值越大，删除的路径越多，模型的正则化效果越强，但同时也可能会降低模型的拟合能力。
取值范围：[0，1）。
特征删除概率
用于定义特征删除机制中的删除概率。特征删除（也称为特征丢弃）是另一种正则化技术，它在训练过程中随机删除一部分的输入特征，以防止模型过拟合。这个值越大，删除的特征越多，模型的正则化效果越强，但同时也可能会降低模型的拟合能力。
取值范围：[0,1)。
给输入数据加噪音的概率
定义了给输入数据加噪音的概率，定义了给输入数据加噪音的概率。加噪音是一种正则化技术，它通过在输入数据中添加随机噪音来增强模型的泛化能力。
取值范围：[0,1]。
给输入数据加噪音的尺度
给输入数据加噪音的尺度，定义了给输入数据加噪音的尺度。这个值越大，添加的噪音越强烈，模型的正则化效果越强，但同时也可能会降低模型的拟合能力。
取值范围：[0,1]。
给输出数据加噪音的概率
给输出数据加噪音的概率，定义了给输出数据加噪音的概率。加噪音是一种正则化技术，它通过在模型的输出中添加随机噪音来增强模型的泛化能力。
取值范围：[0,1]。
给输出数据加噪音的尺度
给输出数据加噪音的尺度，定义了给输出数据加噪音的尺度。这个值越大，添加的噪音越强烈，模型的正则化效果越强，但同时也可能会降低模型的拟合能力。
取值范围：[0,1]。
优化器参数
优化器种类
优化器种类。优化器是用于更新模型参数的算法，目前支持ADAM优化器。
第一个动量矩阵的指数衰减率
数据加噪音的尺度。这个值越大，添加的噪音越强烈，模型的正则化效果越强，但同时也可能会降低模型的拟合能力。
取值范围：[0,1]。
第二个动量矩阵的指数衰减率
用于定义ADAM优化器中的二阶矩估计的指数衰减率。二阶矩估计相当于RMSProp，可以调整学习率。
取值范围：(0,1)。
权重衰减系数
用于定义权重衰减的系数。权重衰减是一种正则化技术，可以防止模型过拟合。
取值需≥0。
学习率
用于定义学习率的大小。学习率决定了模型参数在每次更新时变化的幅度。如果学习率过大，模型可能会在最优解附近震荡而无法收敛。如果学习率过小，模型收敛的速度可能会非常慢。当batch_size减小时，学习率也应相应地线性减小。预训练时，默认值为：0.00001，范围为[0, 0.001]。
学习率调整策略
用于选择学习率调度器的类型。学习率调度器可以在训练过程中动态地调整学习率，以改善模型的训练效果。目前支持CosineDecayLR调度器。
变量权重
2米温度
海表面2m温度 (℃)的权重设置。训练数据设置完成后，会显示出各变量以及默认的权重。您可以基于变量的重要情况调整权重。
10米U风
海表面10m经向风速(ms-1)的权重设置。训练数据设置完成后，会显示出各变量以及默认的权重。您可以基于变量的重要情况调整权重。
10米V风
海表面10m纬向风速(ms-1)的权重设置。训练数据设置完成后，会显示出各变量以及默认的权重。您可以基于变量的重要情况调整权重。
海表高度
海表面高度(m)的权重设置。训练数据设置完成后，会显示出各变量以及默认的权重。您可以基于变量的重要情况调整权重。
海表面气压
海表面气压 (Pa)的权重设置。训练数据设置完成后，会显示出各变量以及默认的权重。您可以基于变量的重要情况调整权重。
海温
深海层海温(℃)的权重设置。训练数据设置完成后，会显示出各变量以及默认的权重。您可以基于变量的重要情况调整权重。
海流经向速率
深海层海流经向速率 (ms-1)的权重设置。训练数据设置完成后，会显示出各变量以及默认的权重。您可以基于变量的重要情况调整权重。
流经纬向速率
深海层海流经纬向速率 (ms-1)的权重设置。训练数据设置完成后，会显示出各变量以及默认的权重。您可以基于变量的重要情况调整权重。
海盐
深海层海盐(PSU)的权重设置。训练数据设置完成后，会显示出各变量以及默认的权重。您可以基于变量的重要情况调整权重。
- 选择资源配置，可选择开启订阅提醒，填写名称与描述，单击“立即创建”完成科学计算大模型微调训练任务创建。
- 创建好训练任务后，页面将返回“模型训练”页面，可随时查看当前任务的状态。单击模型名称，可在“训练结果”页签中查看模型训练指标，以评估模型训练效果，各指标说明见表2。
表2 模型效果评估指标说明 指标名称
说明
Loss
训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标，通常情况下越小越好。这里代表深海Loss和海表Loss的综合Loss。
一般来说，一个正常的Loss曲线应该是单调递减的，即随着训练的进行，Loss值不断减小，直到收敛到一个较小的值。
深海Loss
深海Loss是衡量模型在高空层次变量或在深海变量预测结果与真实结果之间差距的指标。
该值越小，表示模型在深海变量的预测精度越高。
海表Loss
海表Loss是衡量模型在表面层次变量或在海表变量预测结果与真实结果之间差距的指标。
该值越小，表示模型在海表变量的预测精度越高。
RMSE
均方根误差，衡量预测值与真实值之间差距的指标。它是所有单个观测的平方误差的平均值的平方根。
该值越小，代表模型性能越好。
MAE
平均绝对误差，衡量预测值与真实值之间差距的指标。它是所有单个观测的绝对误差的平均值。
该值越小，代表模型性能越好。
ACC
ACC（异常相关系数，距平相关系数，Anomaly Correlation Coefficient）是一个重要的统计指标，用于衡量预报系统的质量。它通过计算预报值与观测值之间的相关性来评估预报的准确性。
ACC的计算涉及到预报值、观测值和气候平均值的差异，其值范围从-1到1，值越接近1表示预报与观测的一致性越好，值为0表示没有相关性，而负值则表示反向相关。
RQE
衡量预测值与真实值之间差距的指标。它是所有单个观测的相对误差的平方和。
该值越小，代表模型性能越好。
