更新时间:2024-08-29 GMT+08:00
典型训练问题和优化策略
- 什么情况下需要微调
- 什么情况下不建议微调
- 数据量很少,可以微调吗
- 数据量足够,但质量较差,可以微调吗
- 无监督的领域知识数据,量级无法支持增量预训练,如何让模型学习
- 如何调整训练参数,使模型效果最优
- 如何判断训练状态是否正常
- 如何评估微调后的模型是否正常
- 如何调整推理参数,使模型效果最优
- 为什么微调后的模型,回答总是在重复某一句或某几句话
- 为什么微调后的模型,回答中会出现乱码
- 为什么微调后的模型,回答会异常中断
- 为什么微调后的模型,只能回答在训练样本中学过的问题
- 为什么微调后的模型,输入与训练样本相似的问题,回答与训练样本完全不同
- 为什么微调后的模型,评估结果很好,但实际场景表现却很差
- 多轮问答场景,为什么微调后的效果不好
- 数据量满足要求,为什么微调后的效果不好
- 数据量和质量均满足要求,为什么微调后的效果不好
- 数据量和质量均满足要求,Loss也正常收敛,为什么微调后的效果不好