更新时间:2025-09-16 GMT+08:00
分享

调优典型问题

科学计算大模型调优典型问题见表1

表1 科学计算大模型调优典型问题

问题

可能原因

解决方法

预训练或微调作业失败,提示训练集数据不足。

训练集选取时间区段是否不足。

训练集选择的时间区段需要至少超过模型分辨率对应时长。

预训练或微调作业失败,提示验证集数据不足。

验证集选取时间区段是否不足。

验证集选择的时间区段需要满足表2对应关系,请相应地延长验证集的时间区段时长。

数据集中盐度(S)变量在下载过程中,如图1图2,存在数据块缺失与数据块偏移的问题,将导致训练过程中盐度损失异常,波动大且不收敛,如图3

模型训练前,未对数据进行加工。

模型训练前,需要对数据进行加工,防止某些特征存在极端异常值或大面积错误数据,导致模型训练不稳定。可能会引发如下问题:

  • 模型对异常值过度敏感,导致拟合异常值而非整体数据分布。
  • 训练过程中损失波动较大,甚至出现梯度爆炸。
  • 模型在测试集上表现不佳,泛化能力差。
  • 通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。
  • 通过可视化方法,数据可视化或者使用箱线图进行异常值的排查。
  • 结合数据自身特征,进行异常数据的筛选。
  • 对于异常值,视情况进行删除、替换、保留等操作,兼顾模型的收敛与鲁棒性。

删除异常值后,盐度(S)损失收敛正常,如图4

表2 验证集选择的时间区段

时间分辨率

推理步数

验证集选择的时间区段(需要至少在以下时间点内,且有连续数据,才能得到1条测试数据。)

1h

24

24h内每1h的数据(例:0点,1点,2点…次日0点)。

3h

12

36h内每3h的数据(例:0点,3点, 6点…次日9点,次日12点)。

6h

8

48h内每6h的数据(例:0点,6点, 12点…次日18点,次日24点)。

24h

7

7天每24h的数据(例:0点,次日0点…7天后0点)。

图1 盐度数据偏移与缺失样例-1
图2 盐度数据偏移与缺失样例-2
图3 盐度(S)异常的训练损失
图4 删除异常值后的训练损失

相关文档