微调典型问题

更新时间：2025-02-25 GMT+08:00

科学计算大模型微调典型问题见表1。

表1 科学计算大模型微调典型问题
问题	可能原因	解决方法
预训练或微调作业失败，提示训练集数据不足。	训练集选取时间区段是否不足。	训练集选择的时间区段需要至少超过模型分辨率对应时长。
预训练或微调作业失败，提示验证集数据不足。	验证集选取时间区段是否不足。	验证集选择的时间区段需要满足表2对应关系，请相应地延长验证集的时间区段时长。
数据集中盐度（S）变量在下载过程中，如图1、图2，存在数据块缺失与数据块偏移的问题，将导致训练过程中盐度损失异常，波动大且不收敛，如图3。	模型训练前，未对数据进行加工。模型训练前，需要对微调数据进行加工，防止某些特征存在极端异常值或大面积错误数据，导致模型训练不稳定。可能会引发如下问题：模型对异常值过度敏感，导致拟合异常值而非整体数据分布。训练过程中损失波动较大，甚至出现梯度爆炸。模型在测试集上表现不佳，泛化能力差。	通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。通过可视化方法，数据可视化或者使用箱线图进行异常值的排查。结合数据自身特征，进行异常数据的筛选。对于异常值，视情况进行删除、替换、保留等操作，兼顾模型的收敛与鲁棒性。删除异常值后，盐度（S）损失收敛正常，如图4。