# 使用数据工程构建科学计算大模型数据集
#### 科学计算大模型支持接入的数据集类型
盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见[气象类数据集格式要求](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0022.html)。
#### 训练科学计算大模型训练数据要求所需数据量
构建科学计算大模型进行训练的数据要求见[表1]。
 表1科学计算大模型训练数据要求 
| 模型类别 | 数据要求 | 特征要求                                                                                                                           | 水平分辨率要求     | 区域范围要求                       | 时间要求                    | 训练数据获取方式                                                                                                                        | 推理数据获取方式                                                                                                                         |
|:---|:---|:---|:---|:---|:---|:---|:---|
| 气象模型 | 天气数据 | 需包含4个表面层特征（10m u风、10m v风、2米温度、海平面气压），13高空层次（1000、925、850、700、600、500、400、300、250、200、150、100、50hPa）的5个高空层特征（重力位势、u风、v风、比湿、温度）。 | 25km\*25km。 | 全球范围，纬度90N\~-90S，经度0W\~360E。 | 训练集和验证集均推荐使用\>1个月的历史数据。 | 参考**[ERA5数据获取指导](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0501.html#pangulm_04_0501__section81698161501)** | 参考**[EC0数据获取指导](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0501.html#pangulm_04_0501__section6852152635612)** |
   
#### 构建科学计算大模型数据集流程
在ModelArts Studio大模型开发平台中，使用数据工程创建盘古科学计算大模型数据集流程见[表2]。
 表2盘古科学计算大模型数据集构建流程 
| 流程        | 子流程      | 说明                                                                          | 操作指导                                                                                 |
|:---|:---|:---|:---|
| 导入数据至盘古平台 | 创建导入任务   | 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。                                         | [导入数据至盘古平台](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0025.html) |
| 加工气象类数据集  | 加工气象类数据集 | 通过专用的加工算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子，例如去除噪声、冗余信息等，提高数据质量。 | [加工气象类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0206.html)  |
| 发布气象类数据集  | 发布气象类数据集 | 数据发布是将单个数据集发布为特定格式的"发布数据集"，用于后续模型训练等操作。                                     | [发布气象类数据集](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0065.html)  |