文档首页/ 盘古大模型 PanguLargeModels/ 常见问题/ 大模型微调训练类问题/ 数据量和质量均满足要求,为什么盘古大模型微调效果不好
更新时间:2024-11-21 GMT+08:00
分享

数据量和质量均满足要求,为什么盘古大模型微调效果不好

这种情况可能是由于以下原因导致的,建议您排查:

  • 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,根据实际情况调整训练参数,帮助模型更好学习。
  • Prompt设置:请检查您使用的Prompt,对于同一个目标任务,建议在推理阶段使用和训练数据相同或相似的PROMPT,才能发挥出模型的最佳效果。
  • 模型规格:理论上模型的参数规模越大,模型能学到的知识就越多,能学会的知识就更难,若目标任务本身难度较大,建议您替换参数规模更大的模型。

相关文档