文档首页/ 盘古大模型 PanguLargeModels/ 常见问题/ 典型训练问题和优化策略/ 为什么微调后的模型,评估结果很好,但实际场景表现却很差
更新时间:2024-08-29 GMT+08:00
分享

为什么微调后的模型,评估结果很好,但实际场景表现却很差

当您在微调过程中,发现模型评估的结果很好,一旦将微调的模型部署以后,输入一个与目标任务同属的问题,回答的结果却不理想。这种情况可能是由于以下几个原因导致的,建议您依次排查:

  • 测试集质量:请检查测试集的目标任务和分布与实际场景是否一致,质量较差的测试集无法反映模型的真实结果。
  • 数据质量:请检查训练数据的质量,若训练样本和目标任务不一致或者分布差异较大,则会加剧该现象。此外,若可预见实际场景会不断发生变化,建议您定期更新训练数据,对模型进行微调更新。

相关文档