盘古大模型 PanguLargeModels
盘古大模型 PanguLargeModels
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
- 用户指南
- 最佳实践
- API参考
- SDK参考
-
常见问题
- 高频常见问题
- 大模型概念类
-
大模型微调训练类
- 无监督领域知识数据量无法支持增量预训练，如何进行模型学习
- 如何调整训练参数，使盘古大模型效果最优
- 如何判断盘古大模型训练状态是否正常
- 如何评估微调后的盘古大模型是否正常
- 如何调整推理参数，使盘古大模型效果最优
- 为什么微调后的盘古大模型总是重复相同的回答
- 为什么微调后的盘古大模型的回答中会出现乱码
- 为什么微调后的盘古大模型的回答会异常中断
- 为什么微调后的盘古大模型只能回答训练样本中的问题
- 为什么在微调后的盘古大模型中输入训练样本问题，回答完全不同
- 为什么微调后的盘古大模型评估结果很好，但实际场景表现很差
- 为什么多轮问答场景的盘古大模型微调效果不好
- 数据量足够，为什么盘古大模型微调效果仍然不好
- 数据量和质量均满足要求，为什么盘古大模型微调效果不好
- 大模型使用类
- 提示词工程类
- 文档下载
- 通用参考
本文导读
展开导读
链接复制成功！
训练参数优化
科学计算大模型的训练参数调优可以考虑学习率参数，学习率（Learning Rate）是模型训练中最重要的超参数之一，它直接影响模型的收敛速度和最终性能：
- 学习率过高，会导致损失在训练初期快速下降，但随后波动较大，甚至出现NaN（梯度爆炸）的问题。
- 学习率过低，会导致损失下降非常缓慢，训练过程耗时较长，模型可能陷入局部最优等问题。
科学计算大模型的学习率调优策略如下：
- 学习率太小时，损失曲线几乎是一条水平线，下降非常缓慢，此时可以增大学习率，使用学习率预热（Warm-up）的方法，在训练初期逐步增加学习率，避免初始阶段学习率过小。
- 学习率太大时，损失曲线剧烈震荡，甚至出现梯度爆炸的问题，可以使用学习率衰减（Decay）策略，在训练过程中逐步减小学习率，避免后期学习率过大。建议动态调整学习率，使用自适应优化器，如Adam、AdamW、RMSprop等，这些优化器可以自动调整学习率。
说明：
如果您没有专业的调优经验，可以优先使用ModelArts Studio平台的默认值，再结合损失曲线动态调整。
父主题： 盘古科学计算大模型调优实践
