文档首页/ 盘古大模型 PanguLargeModels/ 用户指南/ 使用数据工程准备与处理数据集/ 数据集格式要求/ 气象类数据集格式要求
更新时间：2024-12-02 GMT+08:00
查看PDF
分享

气象类数据集格式要求

ModelArts Studio大模型开发平台支持导入气象类数据集，该数据集当前包括海洋气象数据。

海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术，重新处理历史观测数据，生成高质量的气象记录。这些数据既可以覆盖全球范围，也可以针对特定区域，旨在提供完整、一致且高精度的气象数据。

再分析数据为二进制格式，具体格式要求详见表1。

表1 气象类数据集格式要求

文件内容

文件格式

文件要求

海洋气象

nc、cdf、netcdf、gr、gr1、grb、grib、grb1、grib1、gr2、grb2、grib2
  • 数据集最大100万个文件，单文件最大10GB，整个数据集最大10TB。
  • 海洋数据通常包含全球或区域性的海洋变量，如温度（T）、气压（P）、风速（U、V）等，具体格式示例如下： 
    {"geo_range": {"lat": ["-90.0", "90.0"], "lon": ["0.0", "360.0"]}, "time_range": ["1640995200000", "1641164400000"], "total_size": 7376211808, "surface_features": ["SSH", "T", "P", "U", "V"], "under_sea_layers": ["0m", "6m", "10m", "20m", "30m", "50m", "70m", "100m", "125m", "150m", "200m", "250m", "300m", "400m", "500m"], "under_sea_features": [ "T", "U", "V", "S"]}
    • geo_range：定义了数据覆盖的地理范围，纬度（lat）从-90.0到90.0，经度（lon）从0.0到360.0。
    • time_range：数据的时间范围，时间戳格式为毫秒数。
    • total_size：数据文件的总大小，单位为字节。
    • surface_features：海表特征变量列表，例如海表高度（SSH）、温度（T）、风速（U、V）。
    • under_sea_layers：深海层列表，例如500m、400mPa等。
    • under_sea_features：高空特征变量列表，例如海盐（S）、温度（T）、海流速率（U、V）。
父主题： 数据集格式要求

相关文档