文档首页/ 盘古大模型 PanguLargeModels/ 常见问题/ 典型训练问题和优化策略/ 为什么微调后的模型,只能回答在训练样本中学过的问题
更新时间:2024-08-29 GMT+08:00
分享

为什么微调后的模型,只能回答在训练样本中学过的问题

当您将微调的模型部署以后,输入一个已经出现在训练样本中的问题,模型生成的结果很好,一旦输入了一个从未出现过的数据(目标任务相同),回答却完全错误。这种情况可能是由于以下几个原因导致的,建议您依次排查:

  • 训练参数设置:您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题,这种情况大概率是由于训练参数设置的不合理而导致了过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,适当降低这些参数的值,降低过拟合的风险。
  • 数据质量:请检查训练数据的质量,若训练样本出现了大量重复数据,或者数据多样性很差,则会加剧该现象。

相关文档