科学计算大模型训练流程与选择建议
科学计算大模型训练流程介绍
科学计算大模型的训练主要分为两个阶段:预训练与微调。
- 预训练阶段:预训练是模型学习基础知识的过程,基于大规模通用数据集进行。例如,在区域海洋要素预测中,可以重新定义深海变量、海表变量,调整深度层、时间分辨率、水平分辨率以及区域范围,以适配自定义区域的模型场景。此阶段需预先准备区域的高精度数据。
- 微调阶段:在预训练模型的基础上,微调利用特定领域的数据进一步优化模型,使其更好地满足实际任务需求。例如,区域海洋要素预测的微调是在已有模型上添加最新数据,不改变模型结构参数或引入新要素,以适应数据更新需求。
在实际流程中,通过设定训练指标对模型进行监控,以确保效果符合预期。在微调后,评估用户模型,并进行最终优化,确认其满足业务需求后,进行部署和调用,以便实际应用。
科学计算大模型选择建议
科学计算大模型支持训练的模型类型有:全球中期天气要素模型、区域中期海洋智能预测模型。
- 全球中期天气要素预测模型选择建议:
科学计算大模型的全球中期天气要素预测模型,可以对未来一段时间的天气进行预测,具备以下优势:
- 高时间精度:全球中期天气要素预测模型可以预测未来1、3、6、24小时的天气情况,降水模型可预测未来6小时的降水情况。高时间精度对于农业、交通、能源等领域的决策和规划非常重要。
- 全球覆盖:全球中期天气要素预测模型和降水模型能够在全球范围内进行预测,不仅仅局限于某个地区。它的分辨率相当于赤道附近每个点约25公里*25公里的空间。
- 数据驱动:全球中期天气要素预测模型和降水模型使用历史天气数据来训练模型,从而提高预测的准确性。这意味着它可以直接利用过去的观测数据,而不仅仅依赖于数值模型。
全球中期天气要素预测模型、降水模型信息见表 全球中期天气要素预测模型信息表。
表1 全球中期天气要素预测模型信息表 模型
预报层次
预报高空变量
预报表面变量
时间分辨率
水平分辨率
区域范围
全球中期天气要素预测模型
13层(1000hpa,925hpa,850hpa,700hpa,600hpa,500hpa,400hpa,300hpa,250hpa,200hpa,150hpa,100hpa,50hpa)
T:温度
Q:比湿
Z:重力位势
U:U风
V:V风
MLSP:海平面气压
U10:10米U风,经度方向
V10:10米V风,纬度方向
T2M:2米温度
1、3、6、24小时
0.25°*0.25°
全球
支持训练的模型清单见表 中期天气要素预测模型的类型,您可根据具体使用场景选择合适的模型。例如天气基础要素预测,需要时间分辨率为1小时的场景下,您可以选择Pangu-AI4S-Global-Weather-v1.1.0-1h模型。
表2 中期天气要素预测模型 模型名称
模型版本及时间分辨率
说明
Pangu-AI4S-Global-Weather
v1.1.2-1h
2025年3月发布的版本,用于天气基础要素预测,时间分辨率为1小时,1个训练单元起训及1个实例部署。
Pangu-AI4S-Global-Weather
v1.2.2-3h
2025年3月发布的版本,用于天气基础要素预测,时间分辨率为3小时,1个训练单元起训及1个实例部署。
Pangu-AI4S-Global-Weather
v1.3.2-6h
2025年3月发布的版本,用于天气基础要素预测,时间分辨率为6小时,1个训练单元起训及1个实例部署。
Pangu-AI4S-Global-Weather
v1.4.2-24h
2025年3月发布的版本,用于天气基础要素预测,时间分辨率为24小时,1个训练单元起训及1个实例部署。
- 中期海洋智能预测模型选择建议:
科学计算大模型的中期海洋智能预测模型,可以对未来一段时间海洋要素进行预测。可为海上防灾减灾,指导合理开发和保护渔业等方面有着重要作用。中期海洋智能预报可以训练的模型为区域海洋要素模型,信息见表3。
表3 中期海洋智能预测模型信息 模型
深海层深
预报深海变量
预报海表变量
时间分辨率
水平分辨率
区域范围
区域海洋要素模型
0m,6m,10m,20m,30m,50m,70m,100m,125m,150m,200m,250m,300m,400m,500m
T:海温(℃)
S:海盐(PSU)
U:海流经向速率 (ms-1)
V:海流纬向速率 (ms-1)
MLSP:海平面气压
U10:10米U风,经度方向
V10:10米V风,纬度方向
T2M:2米温度
SSH:海表高度(m)
24h
0.25°*0.25°
特定区域
支持训练的模型清单见表4,您可根据具体使用场景选择合适的模型。例如区域海洋基础要素预测场景下,您可以选择Pangu-AI4S-Regional-Ocean-v1.1.0-24h模型。
- 区域大气污染物预测模型选择建议:
科学计算大模型的区域大气污染物预测模型,可以对特定区域未来一段时间污染物浓度进行预测,在城市大气污染治理、环境治理方面具有重要作用。信息见表5。
表5 区域大气污染物预测模型信息 模型
预报污染物变量
时间分辨率
水平分辨率
区域范围
区域大气污染物要素模型
PM10、PM2.5、NO₂、O₃、SO₂、CO
1h
0.0625°*0.0625°
特定区域
支持训练的模型清单见表6,您可根据具体使用场景选择合适的模型。
- 区域新能源风预测模型选择建议:
科学计算大模型的区域新能源风预测模型,可以对未来一段时间的天气要素以及风速进行预测。
区域新能源风模型的训练支持预训练、微调两种操作,如果直接使用平台预置的区域新能源风模型不满足您的使用要求时,可以进行预训练或微调。预训练、微调操作的适用场景如下:
- 预训练:可以在重新指定层次、高空变量、表面变量、以及表面观测、时间分辨率、水平分辨率以及区域范围,适用于想自定义自己的区域模型的场景,需预先准备好区域高精度数据。
- 微调:在已有模型的基础上添加新数据,它适用于不改变模型结构参数和引入新要素的情况,添加最新数据的场景。
区域新能源风,信息见表 区域新能源风预测模型信息表。
表7 区域新能源风预测模型信息表 模型
层次
高空变量
表面变量
时间分辨率
水平分辨率
区域范围
区域新能源风模型
1, 0.994065, 0.986518, 0.976983, 0.96503, 0.931987, 0.853381, 0.562185, 0.338478
P:压强
U:U风
V:V风
Q:比湿
T:温度
MLSP:海平面气压
U10:10米U风,经度方向
V10:10米V风,纬度方向
T2M:2米温度
1小时
0.03°*0.03°
特定区域
支持训练的模型清单见表 区域新能源风预测模型,
- 区域新能源光预测模型选择建议:
科学计算大模型的区域新能源光预测模型,可以对未来一段时间的光辐照进行预测。
区域新能源光模型的训练支持预训练、微调两种操作,如果直接使用平台预置的区域新能源光模型不满足您的使用要求时,可以进行预训练或微调。预训练、微调操作的适用场景如下:
- 预训练:可以在重新指定表面变量、以及时间分辨率、水平分辨率以及区域范围,适用于想自定义自己的区域模型的场景,需预先准备好区域高精度数据。
- 微调:在已有模型的基础上添加新数据,它适用于不改变模型结构参数和引入新要素的情况,添加最新数据的场景。
区域新能源风,信息见表 区域新能源光预测模型信息表。
支持训练的模型清单见表 区域新能源光预测模型,
科学计算大模型训练类型选择建议
目前,全球中期天气要素模型提供训练功能和推理功能,降水模型仅提供推理功能。
- 全球中期天气要素预测模型的训练类型选择建议:
全球中期天气要素预测模型的训练支持预训练、微调两种操作,如果直接使用平台预置的中期天气要素预测模型不满足您的使用要求时,可以进行预训练或微调。预训练、微调操作的适用场景如下:
- 预训练:训练用于添加新的高空层次、高空变量或表面变量。如果您需要在现有模型中引入新要素,需要使用训练(重新训练模型)。在重训配置参数时,您可以选择新要素进行训练。请注意,所选的数据集必须包含您想要添加的新要素。此外,您还可以通过训练更改所有的模型参数,以优化模型性能。
- 微调:微调是将新数据应用于已有模型的过程。它适用于不改变模型结构参数和引入新要素的情况。如果您有新的观测数据,可以使用微调来更新模型的权重,以适应新数据。
- 中期海洋智能预测模型的训练类型选择建议:
中期海洋智能预测模型的训练支持预训练、微调两种操作,如果直接使用平台预置的区域中期海洋智能预测模型不满足您的使用要求时,可以进行预训练或微调。预训练、微调操作的适用场景如下:
- 预训练:可以在重新指定深海变量、海表变量、以及深海层深、时间分辨率、水平分辨率以及区域范围,适用于想自定义自己的区域模型的场景,需预先准备好区域高精度数据。
- 微调:在已有模型的基础上添加新数据,它适用于不改变模型结构参数和引入新要素的情况,添加最新数据的场景。
- 区域大气污染物预测模型的训练类型选择建议:
区域大气污染物预测模型的训练支持预训练、微调两种操作,如果直接使用平台预置的区域大气污染物预测模型不满足您的使用要求时,可以进行预训练或微调。预训练、微调操作的适用场景如下:
- 预训练:可以在重新指定大气污染物要素、以及时间分辨率、水平分辨率以及区域范围,适用于想自定义自己的区域模型的场景,需预先准备好区域高精度数据。
- 微调:在已有模型的基础上添加新数据,它适用于不改变模型结构参数和引入新要素的情况,添加最新数据的场景。
- 区域新能源风预测模型的训练类型选择建议:
区域新能源风预测模型的训练支持预训练、微调两种操作,如果直接使用平台预置的区域新能源风预测模型不满足您的使用要求时,可以进行预训练或微调。预训练、微调操作的适用场景如下:
- 预训练:可以在重新指定层次、高空变量、表面变量、以及表面观测、时间分辨率、水平分辨率以及区域范围,适用于想自定义自己的区域模型的场景,需预先准备好区域高精度数据。
- 微调:在已有模型的基础上添加新数据,它适用于不改变模型结构参数和引入新要素的情况,添加最新数据的场景。
- 区域新能源光预测模型的训练类型选择建议:
区域新能源光预测模型的训练支持预训练、微调两种操作,如果直接使用平台预置的区域新能源光预测模型不满足您的使用要求时,可以进行预训练或微调。预训练、微调操作的适用场景如下:
- 预训练:可以在重新指定表面变量、以及时间分辨率、水平分辨率以及区域范围,适用于想自定义自己的区域模型的场景,需预先准备好区域高精度数据。
- 微调:在已有模型的基础上添加新数据,它适用于不改变模型结构参数和引入新要素的情况,添加最新数据的场景。