文档首页/ 盘古大模型 PanguLargeModels/ 常见问题/ 典型训练问题和优化策略/ 为什么微调后的模型,回答总是在重复某一句或某几句话
更新时间:2024-08-29 GMT+08:00
分享

为什么微调后的模型,回答总是在重复某一句或某几句话

当您将微调的模型部署以后,输入一个与目标任务同属的问题,模型生成了复读机式的结果,即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的,建议您依次排查:

  • 推理参数设置:请检查推理参数中的“话题重复度控制”或“温度”或“核采样”等参数的设置,适当增大其中一个参数的值,可以提升模型回答的多样性。
  • 数据质量:请检查训练数据中是否存在文本重复的异常数据,可以通过规则进行清洗。
  • 训练参数设置:若数据质量存在问题,且因训练参数设置的不合理而导致过拟合,该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,适当降低这些参数的值,降低过拟合的风险。

相关文档