# 微调典型问题
科学计算大模型微调典型问题见[表1]。
 表1科学计算大模型微调典型问题 
| 问题                                                                                                                                                                                  | 可能原因                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     | 解决方法                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
|:---|:---|:---|
| 预训练或微调作业失败，提示训练集数据不足。                                                                                                                                                               | 训练集选取时间区段是否不足。                                                                                                                                                                                                                                                                                                                                                                                                                                                                           | 训练集选择的时间区段需要至少超过模型分辨率对应时长。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   |
| 预训练或微调作业失败，提示验证集数据不足。                                                                                                                                                               | 验证集选取时间区段是否不足。                                                                                                                                                                                                                                                                                                                                                                                                                                                                           | 验证集选择的时间区段需要满足[表2]对应关系，请相应地延长验证集的时间区段时长。                                                                                                                                                                                                                                                                                                                                                                                                                                               |
| 数据集中盐度（S）变量在下载过程中，如[图1]、[图2]，存在数据块缺失与数据块偏移的问题，将导致训练过程中盐度损失异常，波动大且不收敛，如[图3]。 | 模型训练前，未对数据进行加工。 模型训练前，需要对微调数据进行加工，防止某些特征存在极端异常值或大面积错误数据，导致模型训练不稳定。可能会引发如下问题： - 模型对异常值过度敏感，导致拟合异常值而非整体数据分布。  - 训练过程中损失波动较大，甚至出现梯度爆炸。  - 模型在测试集上表现不佳，泛化能力差。   | - 通过统计学方法如计算四分位距、Z-score、样本分布等排查异常值。  - 通过可视化方法，数据可视化或者使用箱线图进行异常值的排查。  - 结合数据自身特征，进行异常数据的筛选。  - 对于异常值，视情况进行删除、替换、保留等操作，兼顾模型的收敛与鲁棒性。   删除异常值后，盐度（S）损失收敛正常，如[图4]。 |
   
 表2验证集选择的时间区段 
| **时间分辨率** | **推理步数** | **验证集选择的时间区段(** **验证集需要至少在以下时间点内，有连续数据** **，** **才能得到1** **条测试数据)** |
|:---|:---|:---|
| 24h       | 7        | 7天每24h的数据（例：0点，次日0点...7天后0点）                                        |
   
图1盐度数据偏移与缺失样例-1   
![](https://support.huaweicloud.com/bestpractice-pangulm/zh-cn_image_0000002511325330.png)
图2盐度数据偏移与缺失样例-2   
![](https://support.huaweicloud.com/bestpractice-pangulm/zh-cn_image_0000002542645291.png)
图3盐度（S）异常的训练损失   
![](https://support.huaweicloud.com/bestpractice-pangulm/zh-cn_image_0000002511325346.png)
图4删除异常值后的训练损失   
![](https://support.huaweicloud.com/bestpractice-pangulm/zh-cn_image_0000002542645287.png)