更新时间:2024-11-21 GMT+08:00
为什么在微调后的盘古大模型中输入训练样本问题,回答完全不同
当您将微调的模型部署以后,输入一个已经出现在训练样本中,或虽未出现但和训练样本差异很小的问题,回答完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查:
- 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了欠拟合,模型没有学到任何知识。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,适当增大“训练轮次”的值,或根据实际情况调整“学习率”的值,帮助模型更好收敛。
- 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大,则会加剧该现象。
父主题: 大模型微调训练类问题