盘古大模型 PanguLargeModels
盘古大模型 PanguLargeModels
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
- 用户指南
- 最佳实践
- API参考
- SDK参考
-
常见问题
- 高频常见问题
- 大模型概念类
-
大模型微调训练类
- 无监督领域知识数据量无法支持增量预训练，如何进行模型学习
- 如何调整训练参数，使盘古大模型效果最优
- 如何判断盘古大模型训练状态是否正常
- 如何评估微调后的盘古大模型是否正常
- 如何调整推理参数，使盘古大模型效果最优
- 为什么微调后的盘古大模型总是重复相同的回答
- 为什么微调后的盘古大模型的回答中会出现乱码
- 为什么微调后的盘古大模型的回答会异常中断
- 为什么微调后的盘古大模型只能回答训练样本中的问题
- 为什么在微调后的盘古大模型中输入训练样本问题，回答完全不同
- 为什么微调后的盘古大模型评估结果很好，但实际场景表现很差
- 为什么多轮问答场景的盘古大模型微调效果不好
- 数据量足够，为什么盘古大模型微调效果仍然不好
- 数据量和质量均满足要求，为什么盘古大模型微调效果不好
- 大模型使用类
- 提示词工程类
- 文档下载
- 通用参考
本文导读
展开导读
链接复制成功！
模型调优方法介绍
在实际应用中，首次微调所得的模型往往无法取得最佳效果，为了让模型能更好地解决特定场景任务，通常需要根据微调所得模型的效果情况来进行几轮的模型微调优化迭代。
在大模型的微调效果调优过程中，训练数据优化、训练超参数优化、提示词优化以及推理参数优化是最重要的几个步骤。
- 训练数据的优化是提升模型效果的基础。通过数据加工、去噪以及数据增强等手段，可以提高训练数据的质量和多样性，从而增强模型针对于训练场景的效果和模型的泛化能力。
- 在准备好训练数据之后，可以通过调整训练超参数来提升模型收敛速度和最终性能，例如调整学习率、批量大小、学习率衰减比率等等。
- 在模型训练完之后还可以通过设计合适的提示词来提升模型在特定任务上的表现。提示词优化包括选择合适的提示词模板、调整提示词的措辞以及结合上下文信息等。精心设计的提示词能够更好地引导模型生成符合预期的输出，尤其在少样本学习场景下，提示词优化的效果尤为显著。
- 最后还可以通过调整推理参数来进一步提升模型效果，例如通过选择合适的温度系数来控制模型回复的准确性和多样性，调整话题重复度来控制模型输出的话题重复程度。
父主题： 盘古NLP大模型调优实践
