盘古大模型 PanguLargeModels
盘古大模型 PanguLargeModels
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
- 用户指南
- 最佳实践
- API参考
- SDK参考
-
常见问题
- 高频常见问题
- 大模型概念类
-
大模型微调训练类
- 无监督领域知识数据量无法支持增量预训练，如何进行模型学习
- 如何调整训练参数，使盘古大模型效果最优
- 如何判断盘古大模型训练状态是否正常
- 如何评估微调后的盘古大模型是否正常
- 如何调整推理参数，使盘古大模型效果最优
- 为什么微调后的盘古大模型总是重复相同的回答
- 为什么微调后的盘古大模型的回答中会出现乱码
- 为什么微调后的盘古大模型的回答会异常中断
- 为什么微调后的盘古大模型只能回答训练样本中的问题
- 为什么在微调后的盘古大模型中输入训练样本问题，回答完全不同
- 为什么微调后的盘古大模型评估结果很好，但实际场景表现很差
- 为什么多轮问答场景的盘古大模型微调效果不好
- 数据量足够，为什么盘古大模型微调效果仍然不好
- 数据量和质量均满足要求，为什么盘古大模型微调效果不好
- 大模型使用类
- 提示词工程类
- 文档下载
- 通用参考
本文导读
展开导读
链接复制成功！
数据预处理优化
模型训练前，需要对数据进行加工，防止某些特征存在极端异常值或大面积错误数据，导致模型训练不稳定。可能会引发如下问题：
- 模型对异常值过度敏感，导致拟合异常值而非整体数据分布。
- 训练过程中损失波动较大，甚至出现梯度爆炸。
- 模型在测试集上表现不佳，泛化能力差。
优化调整策略如下：
- 通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。
- 通过可视化方法，数据可视化或者使用箱线图进行异常值的排查。
- 结合数据自身特征，进行异常数据的筛选。
- 对于异常值，视情况进行删除、替换、保留等操作，兼顾模型的收敛与鲁棒性。
优化举例：
某数据集中，盐度（S）变量在下载过程中存在数据块缺失与数据块偏移的问题，如图1、图2，导致在训练过程中盐度损失异常，波动大且不收敛，如图3。在删除异常数据后，如图4，盐度正常收敛。因此在训练过程中存在损失波动较大的情况，可以考虑数据异常的情况。
父主题： 盘古科学计算大模型调优实践
