# 创建科学计算大模型训练任务 #### 创建科学计算大模型中期天气要素预测微调任务 创建科学计算大模型中期天气要素预测微调任务步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图1我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601606063.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击右上角"创建训练任务"。 3. 在"创建训练任务"页面，参考[表1]完成训练参数设置。 其中，"数据配置"展示了各训练数据涉及到的全部参数，请根据具体前端页面展示的参数进行设置。 表1科学计算大模型中期天气要素预测微调训练参数说明 | 导航页签 | 参数分类 | 参数子类 | 参数名称 | 参数说明 | |:---|:---|:---|:---|:---| | 训练数据配置 | 训练配置 | 选择模型 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"或"我的资产"。 - 类型：选择"科学计算大模型"，并选择训练所用的基础模型和版本。 | | 训练数据配置 | 训练配置 | 训练类型 | 训练类型 | 选择"微调"。 | | 训练数据配置 | 训练配置 | 训练目标 | 训练目标 | 选择"全量微调"。 - 全量微调：在模型进行有监督微调时，对大模型的所有参数进行更新。这种方法通常能够实现最佳的模型性能，但需要消耗大量计算资源和时间，计算开销较大。 | | 训练数据配置 | 数据集 | 选择数据集 | 选择数据集 | 选择数据集中已发布的数据集，这里数据集需为再分析类型数据，同时需要完成加工作业，加工时需选择气象预处理算子。 | | 训练数据配置 | 数据集 | 时间范围 | 训练集 | 选择训练数据中的部分时间数据，训练数据集尽可能多一些。 | | 训练数据配置 | 数据集 | 时间范围 | 验证集 | 选择验证集中的部分时间数据，验证集数据不能跟训练集数据重合。 | | 训练数据配置 | 数据配置 | 全球要素 | 高空层次类型 | 设置训练数据的高空层次类型，在"微调"场景下仅做展示原模型的高空层次类型。 | | 训练数据配置 | 数据配置 | 全球要素 | 高空要素 | 设置训练数据的高空要素信息，"微调"场景中在编辑参数弹窗仅可调整目标模型参数对应权重。 - 预置参数：模型预置的参数列表。 - 来自数据集参数：数据集中识别到的非预置参数列表。 | | 训练数据配置 | 数据配置 | 全球要素 | 高空层次 | 设置训练数据的高空层次信息，在"微调"场景下仅做展示原模型的高空层次。 | | 训练数据配置 | 数据配置 | 全球要素 | 表面要素 | 设置训练数据的表面要素信息，"微调"场景中在编辑参数弹窗仅可调整目标模型参数对应权重。 - 预置参数：模型预置的参数列表。 - 来自数据集参数：数据集中识别到的非预置参数列表。 | | 训练数据配置 | 数据配置 | 全球要素 | 表面观测 | 设置训练数据的表面观测信息，"微调"场景中在编辑参数弹窗仅可调整目标模型参数对应权重。 - 预置参数：模型预置的参数列表。 - 来自数据集参数：数据集中识别到的非预置参数列表。 | | 训练数据配置 | 数据配置 | 全球要素 | 边界条件 | 在"微调"场景下仅做展示原模型边界条件。详见[表面静态量参数含义]。 | | 训练参数配置 | 训练参数 | 优化器参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 训练参数 | 正则化参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 高级设置 | 高级设置 | 请参考[表12]进行配置。 || | 训练资源\&系统配置 | 资源配置 | 计费模式 | 计费模式 | 选择训练当前任务的计费模式。 | | 训练资源\&系统配置 | 资源配置 | 训练单元 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 训练资源\&系统配置 | 资源配置 | 单实例训练单元数 | 单实例训练单元数 | 选择单实例训练单元数。 | | 训练资源\&系统配置 | 资源配置 | 实例数 | 实例数 | 选择实例数。 | | 训练资源\&系统配置 | 资源配置 | 优先级 | 优先级 | 优先级相同的任务，先创建先执行。 | | 训练资源\&系统配置 | 订阅提醒 | 订阅提醒 | 订阅提醒 | 该功能开启后，平台支持两种订阅类型，预置通知和SMN通知。 预置通知：系统将在任务状态完成或失败时，通过短信或邮件将提醒发送给用户。 SMN通知：用户可在SMN云服务创建主题并维护订阅信息，在创建训练时选择对应主题以及需要通知的状态。训练状态范围：停止，失败，完成。用户手工触发的停止操作不通知用户，而资源到期的停止需通知用户。 | | 训练资源\&系统配置 | 发布模型 | 开启自动发布 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 训练资源\&系统配置 | 发布模型 | 模型可见性 | 模型可见性 | 选择发布模型的可见范围。 本空间可见：发布的模型仅当前工作空间可见。 全空间可见：发布的模型在所有空间均可见。 | | 训练资源\&系统配置 | 发布模型 | 模型名称 | 模型名称 | 要发布的模型资产名称。 | | 训练资源\&系统配置 | 发布模型 | 描述（可选） | 描述（可选） | 要发布的模型资产的相关描述，选填。 | | 训练资源\&系统配置 | 基本信息 | 名称 | 名称 | 训练任务名称。 | | 训练资源\&系统配置 | 基本信息 | 描述 | 描述 | 训练任务描述。 | 4. 参数填写完成后，单击"立即创建"。 5. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 #### 创建科学计算大模型中期天气要素预测预训练任务 创建科学计算大模型中期天气要素预测预训练任务步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图2我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601605997.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击右上角"创建训练任务"。 3. 在"创建训练任务"页面，参考[表2]完成训练参数设置。 其中，"数据配置"展示了各训练数据涉及到的全部参数，请根据具体前端页面展示的参数进行设置。 表2科学计算大模型中期天气要素预测预训练参数说明 | 导航页签 | 参数分类 | 参数子类 | 参数名称 | 参数说明 | |:---|:---|:---|:---|:---| | 训练数据配置 | 训练配置 | 选择模型 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"或"我的资产"。 - 类型：选择"科学计算大模型"，并选择训练所用的基础模型和版本。 | | 训练数据配置 | 训练配置 | 训练类型 | 训练类型 | 选择"预训练"。 | | 训练数据配置 | 数据集 | 选择数据集 | 选择数据集 | 选择数据集中已发布的数据集，这里数据集需为再分析类型数据，同时需要完成加工作业，加工时需选择气象预处理算子。 | | 训练数据配置 | 数据集 | 时间范围 | 训练集 | 选择训练数据中的部分时间数据，训练数据集尽可能多一些。 | | 训练数据配置 | 数据集 | 时间范围 | 验证集 | 选择验证集中的部分时间数据，验证集数据不能跟训练集数据重合。 | | 训练数据配置 | 数据配置 | 全球要素 | 高空层次类型 | 设置训练数据的高空层次类型，在"预训练"场景下可下拉选择一种数据集中识别到的层次类型。 | | 训练数据配置 | 数据配置 | 全球要素 | 高空要素 | 设置训练数据的高空要素信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 全球要素 | 高空层次 | 设置训练数据的模式层信息，在"预训练"的场景中可根据选择的高空层次类型，设置对应类型的高空层次，训练任务会根据您配置的高空层次对模型重新进行训练。 | | 训练数据配置 | 数据配置 | 全球要素 | 表面要素 | 设置训练数据的表面要素信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 全球要素 | 表面观测 | 设置训练数据的表面观测信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 全球要素 | 边界条件 | 在"预训练"场景下可以根据需要勾选表面静态量用于模型训练，详见[表面静态量参数含义]。 | | 训练参数配置 | 训练参数 | 分辨率 | 时间分辨率 | 时间分辨率，即模型输入与输出之间的时间间隔。 | | 训练参数配置 | 训练参数 | 分辨率 | 全球天气时间分辨率 | 全球天气输入时间分辨率。 | | 训练参数配置 | 训练参数 | 优化器参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 训练参数 | 正则化参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 高级设置 | 高级设置 | 请参考[表12]进行配置。 || | 训练资源\&系统配置 | 资源配置 | 计费模式 | 计费模式 | 选择训练当前任务的计费模式。 | | 训练资源\&系统配置 | 资源配置 | 训练单元 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 训练资源\&系统配置 | 资源配置 | 单实例训练单元数 | 单实例训练单元数 | 选择单实例训练单元数。 | | 训练资源\&系统配置 | 资源配置 | 实例数 | 实例数 | 选择实例数。 | | 训练资源\&系统配置 | 资源配置 | 优先级 | 优先级 | 优先级相同的任务，先创建先执行。 | | 训练资源\&系统配置 | 订阅提醒 | 订阅提醒 | 订阅提醒 | 该功能开启后，平台支持两种订阅类型，预置通知和SMN通知。 预置通知：系统将在任务状态完成或失败时，通过短信或邮件将提醒发送给用户。 SMN通知：用户可在SMN云服务创建主题并维护订阅信息，在创建训练时选择对应主题以及需要通知的状态。训练状态范围：停止，失败，完成。用户手工触发的停止操作不通知用户，而资源到期的停止需通知用户。 | | 训练资源\&系统配置 | 发布模型 | 开启自动发布 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 训练资源\&系统配置 | 发布模型 | 模型可见性 | 模型可见性 | 选择发布模型的可见范围。 本空间可见：发布的模型仅当前工作空间可见。 全空间可见：发布的模型在所有空间均可见。 | | 训练资源\&系统配置 | 发布模型 | 模型名称 | 模型名称 | 要发布的模型资产名称。 | | 训练资源\&系统配置 | 发布模型 | 描述（可选） | 描述（可选） | 要发布的模型资产的相关描述，选填。 | | 训练资源\&系统配置 | 基本信息 | 名称 | 名称 | 训练任务名称。 | | 训练资源\&系统配置 | 基本信息 | 描述 | 描述 | 训练任务描述。 | 4. 参数填写完成后，单击"立即创建"。 5. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 #### 创建科学计算大模型区域新能源风预测微调任务 创建科学计算大模型区域新能源风预测微调任务步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图3我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601606051.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击右上角"创建训练任务"。 3. 在"创建训练任务"页面，参考[表3]完成训练参数设置。 其中，"数据配置"展示了各训练数据涉及到的全部参数，请根据具体前端页面展示的参数进行设置。 表3科学计算大模型区域新能源风预测微调参数说明 | 导航页签 | 参数分类 | 参数子类 | 参数名称 | 参数说明 | |:---|:---|:---|:---|:---| | 训练数据配置 | 训练配置 | 选择模型 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"或"我的资产"。 - 类型：选择"科学计算大模型"，并选择训练所用的基础模型和版本。 | | 训练数据配置 | 训练配置 | 训练类型 | 训练类型 | 选择"微调"。 | | 训练数据配置 | 训练配置 | 训练目标 | 训练目标 | 选择"全量微调"。 - 全量微调：在模型进行有监督微调时，对大模型的所有参数进行更新。这种方法通常能够实现最佳的模型性能，但需要消耗大量计算资源和时间，计算开销较大。 | | 训练数据配置 | 训练配置 | 高级设置 | checkpoints | 模型训练任务过程中，用于保存模型权重和状态的机制。若因保存过多导致OBS容量不足，则需扩容。当前仅支持基于保存180天内的checkpoints做训练，180天到期后自动删除。 | | 训练数据配置 | 数据集 | 选择数据集 | 选择数据集 | 选择数据集中已发布的数据集，这里数据集需为再分析类型数据，同时需要完成加工作业，加工时需选择气象预处理算子。 | | 训练数据配置 | 数据集 | 时间范围 | 训练集 | 选择训练数据中的部分时间数据，训练数据集尽可能多一些。 | | 训练数据配置 | 数据集 | 时间范围 | 验证集 | 选择验证集中的部分时间数据，验证集数据不能跟训练集数据重合。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空层次类型 | 设置上游模型训练数据的高空层次类型，在"微调"场景下仅做展示原模型的上游模型高空层次类型。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空要素 | 设置上游模型训练数据的高空要素信息，"微调"场景下仅做展示原模型的上游模型高空要素。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空层次 | 设置上游模型训练数据的高空层次信息，在"微调"场景下仅做展示原模型的上游模型高空层次。 | | 训练数据配置 | 数据配置 | 上游模型 | 表面要素 | 设置上游模型训练数据的表面要素信息，"微调"场景下仅做展示原模型的上游模型表面要素。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面要素 | 设置训练数据的表面要素信息，"微调"场景中在编辑参数弹窗仅可调整目标模型参数对应权重。 - 预置参数：模型预置的参数列表。 - 来自数据集参数：数据集中识别到的非预置参数。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面观测 | 设置训练数据的表面观测信息，"微调"场景中在编辑参数弹窗仅可调整目标模型参数对应权重。 - 预置参数：模型预置的参数列表。 - 来自数据集参数：数据集中识别到的非预置参数列表。 | | 训练数据配置 | 数据配置 | 区域要素 | 边界条件 | 在"微调"场景下仅做展示原模型边界条件。详见[表面静态量参数含义]。 | | 训练参数配置 | 训练参数 | 优化器参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 训练参数 | 正则化参数 | 请参考[表12]进行配置。 || | 训练资源\&系统配置 | 资源配置 | 计费模式 | 计费模式 | 选择训练当前任务的计费模式。 | | 训练资源\&系统配置 | 资源配置 | 训练单元 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 训练资源\&系统配置 | 资源配置 | 单实例训练单元数 | 单实例训练单元数 | 选择单实例训练单元数。 | | 训练资源\&系统配置 | 资源配置 | 实例数 | 实例数 | 选择实例数。 | | 训练资源\&系统配置 | 资源配置 | 优先级 | 优先级 | 优先级相同的任务，先创建先执行。 | | 训练资源\&系统配置 | 订阅提醒 | 订阅提醒 | 订阅提醒 | 该功能开启后，平台支持两种订阅类型，预置通知和SMN通知。 预置通知：系统将在任务状态完成或失败时，通过短信或邮件将提醒发送给用户。 SMN通知：用户可在SMN云服务创建主题并维护订阅信息，在创建训练时选择对应主题以及需要通知的状态。训练状态范围：停止，失败，完成。用户手工触发的停止操作不通知用户，而资源到期的停止需通知用户。 | | 训练资源\&系统配置 | 发布模型 | 开启自动发布 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 训练资源\&系统配置 | 发布模型 | 模型可见性 | 模型可见性 | 选择发布模型的可见范围。 本空间可见：发布的模型仅当前工作空间可见。 全空间可见：发布的模型在所有空间均可见。 | | 训练资源\&系统配置 | 发布模型 | 模型名称 | 模型名称 | 要发布的模型资产名称。 | | 训练资源\&系统配置 | 发布模型 | 描述（可选） | 描述（可选） | 要发布的模型资产的相关描述，选填。 | | 训练资源\&系统配置 | 基本信息 | 名称 | 名称 | 训练任务名称。 | | 训练资源\&系统配置 | 基本信息 | 描述 | 描述 | 训练任务描述。 | 4. 参数填写完成后，单击"立即创建"。 5. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 #### 创建科学计算大模型区域新能源风预测预训练任务 创建科学计算大模型区域新能源风预测预训练任务步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图4我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206458.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击右上角"创建训练任务"。 3. 在"创建训练任务"页面，参考[表4]完成训练参数设置。 其中，"数据配置"展示了各训练数据涉及到的全部参数，请根据具体前端页面展示的参数进行设置。 表4科学计算大模型区域新能源风预测预训练参数说明 | 导航页签 | 参数分类 | 参数子类 | 参数名称 | 参数说明 | |:---|:---|:---|:---|:---| | 训练数据配置 | 训练配置 | 选择模型 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"或"我的资产"。 - 类型：选择"科学计算大模型"，并选择训练所用的基础模型和版本。 | | 训练数据配置 | 训练配置 | 训练类型 | 训练类型 | 选择"预训练"。 | | 训练数据配置 | 训练配置 | 高级设置 | checkpoints | 模型训练任务过程中，用于保存模型权重和状态的机制。若因保存过多导致OBS容量不足，则需扩容。当前仅支持基于保存180天内的checkpoints做训练，180天到期后自动删除。 | | 训练数据配置 | 数据集 | 选择数据集 | 选择数据集 | 选择数据集中已发布的数据集，这里数据集需为再分析类型数据，同时需要完成加工作业，加工时需选择气象预处理算子。 | | 训练数据配置 | 数据集 | 时间范围 | 训练集 | 选择训练数据中的部分时间数据，训练数据集尽可能多一些。 | | 训练数据配置 | 数据集 | 时间范围 | 验证集 | 选择验证集中的部分时间数据，验证集数据不能跟训练集数据重合。 | | 训练数据配置 | 数据配置 | 区域范围 | 水平分辨率 | 水平分辨率，地理数据集或图像中两个不同格点之间可辨识的最小距离，单位为度（°）。 | | 训练数据配置 | 数据配置 | 区域范围 | 纬度范围 | 纬度区间，格式为"起点,终点"，单位为度（°）。 | | 训练数据配置 | 数据配置 | 区域范围 | 经度范围 | 经度区间，格式为"起点,终点"，单位为度（°）。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空层次类型 | 设置训练数据的高空层次类型，在"预训练"场景下可下拉选择一种数据集中识别到的层次类型。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空要素 | 设置训练数据的高空要素信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空层次 | 设置训练数据的模式层信息，在"预训练"的场景中可根据选择的高空层次类型，设置对应类型的高空层次，训练任务会根据您配置的高空层次对模型重新进行训练。 | | 训练数据配置 | 数据配置 | 上游模型 | 表面要素 | 设置训练数据的表面要素信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面要素 | 设置训练数据的表面要素信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面观测 | 设置训练数据的表面观测信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 区域要素 | 边界条件 | 在"预训练"场景下可以根据需要勾选表面静态量用于模型训练，详见[表面静态量参数含义]。 | | 训练参数配置 | 训练参数 | 分辨率 | 时间分辨率 | 时间分辨率，即模型输入与输出之间的时间间隔。 | | 训练参数配置 | 训练参数 | 分辨率 | 全球天气时间分辨率 | 全球天气输入时间分辨率。 | | 训练参数配置 | 训练参数 | 优化器参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 训练参数 | 正则化参数 | 请参考[表12]进行配置。 || | 训练资源\&系统配置 | 资源配置 | 计费模式 | 计费模式 | 选择训练当前任务的计费模式。 | | 训练资源\&系统配置 | 资源配置 | 训练单元 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 训练资源\&系统配置 | 资源配置 | 单实例训练单元数 | 单实例训练单元数 | 选择单实例训练单元数。 | | 训练资源\&系统配置 | 资源配置 | 实例数 | 实例数 | 选择实例数。 | | 训练资源\&系统配置 | 资源配置 | 优先级 | 优先级 | 优先级相同的任务，先创建先执行。 | | 训练资源\&系统配置 | 订阅提醒 | 订阅提醒 | 订阅提醒 | 该功能开启后，平台支持两种订阅类型，预置通知和SMN通知。 预置通知：系统将在任务状态完成或失败时，通过短信或邮件将提醒发送给用户。 SMN通知：用户可在SMN云服务创建主题并维护订阅信息，在创建训练时选择对应主题以及需要通知的状态。训练状态范围：停止，失败，完成。用户手工触发的停止操作不通知用户，而资源到期的停止需通知用户。 | | 训练资源\&系统配置 | 发布模型 | 开启自动发布 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 训练资源\&系统配置 | 发布模型 | 模型可见性 | 模型可见性 | 选择发布模型的可见范围。 本空间可见：发布的模型仅当前工作空间可见。 全空间可见：发布的模型在所有空间均可见。 | | 训练资源\&系统配置 | 发布模型 | 模型名称 | 模型名称 | 要发布的模型资产名称。 | | 训练资源\&系统配置 | 发布模型 | 描述（可选） | 描述（可选） | 要发布的模型资产的相关描述，选填。 | | 训练资源\&系统配置 | 基本信息 | 名称 | 名称 | 训练任务名称。 | | 训练资源\&系统配置 | 基本信息 | 描述 | 描述 | 训练任务描述。 | 4. 参数填写完成后，单击"立即创建"。 5. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 #### 创建科学计算大模型区域新能源光预测微调任务 创建科学计算大模型区域新能源光预测微调任务步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图5我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571046826.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击右上角"创建训练任务"。 3. 在"创建训练任务"页面，参考[表5]完成训练参数设置。 其中，"数据配置"展示了各训练数据涉及到的全部参数，请根据具体前端页面展示的参数进行设置。 表5科学计算大模型区域新能源光预测微调参数说明 | 导航页签 | 参数分类 | 参数子类 | 参数名称 | 参数说明 | |:---|:---|:---|:---|:---| | 训练数据配置 | 训练配置 | 选择模型 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"或"我的资产"。 - 类型：选择"科学计算大模型"，并选择训练所用的基础模型和版本。 | | 训练数据配置 | 训练配置 | 训练类型 | 训练类型 | 选择"微调"。 | | 训练数据配置 | 训练配置 | 训练目标 | 训练目标 | 选择"全量微调"。 - 全量微调：在模型进行有监督微调时，对大模型的所有参数进行更新。这种方法通常能够实现最佳的模型性能，但需要消耗大量计算资源和时间，计算开销较大。 | | 训练数据配置 | 训练配置 | 高级设置 | checkpoints | 模型训练任务过程中，用于保存模型权重和状态的机制。若因保存过多导致OBS容量不足，则需扩容。当前仅支持基于保存180天内的checkpoints做训练，180天到期后自动删除。 | | 训练数据配置 | 数据集 | 选择数据集 | 选择数据集 | 选择数据集中已发布的数据集，这里数据集需为再分析类型数据，同时需要完成加工作业，加工时需选择气象预处理算子。 | | 训练数据配置 | 数据集 | 时间范围 | 训练集 | 选择训练数据中的部分时间数据，训练数据集尽可能多一些。 | | 训练数据配置 | 数据集 | 时间范围 | 验证集 | 选择验证集中的部分时间数据，验证集数据不能跟训练集数据重合。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空层次类型 | 设置上游模型训练数据的高空层次类型，在"微调"场景下仅做展示原模型的上游模型高空层次类型。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空要素 | 设置上游模型训练数据的高空要素信息，"微调"场景下仅做展示原模型的上游模型高空要素。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空层次 | 设置上游模型训练数据的高空层次信息，在"微调"场景下仅做展示原模型的上游模型高空层次。 | | 训练数据配置 | 数据配置 | 上游模型 | 表面要素 | 设置上游模型训练数据的表面要素信息，"微调"场景下仅做展示原模型的上游模型表面要素。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面要素 | 设置训练数据的表面要素信息，"微调"场景中在编辑参数弹窗仅可调整目标模型参数对应权重。 - 预置参数：模型预置的参数列表。 - 来自数据集参数：数据集中识别到的非预置参数。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面观测 | 设置训练数据的表面观测信息，"微调"场景中在编辑参数弹窗仅可调整目标模型参数对应权重。 - 预置参数：模型预置的参数列表。 - 来自数据集参数：数据集中识别到的非预置参数列表。 | | 训练数据配置 | 数据配置 | 区域要素 | 边界条件 | 在"微调"场景下仅做展示原模型边界条件。详见[表面静态量参数含义]。 | | 训练参数配置 | 训练参数 | 优化器参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 训练参数 | 正则化参数 | 请参考[表12]进行配置。 || | 训练资源\&系统配置 | 资源配置 | 计费模式 | 计费模式 | 选择训练当前任务的计费模式。 | | 训练资源\&系统配置 | 资源配置 | 训练单元 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 训练资源\&系统配置 | 资源配置 | 单实例训练单元数 | 单实例训练单元数 | 选择单实例训练单元数。 | | 训练资源\&系统配置 | 资源配置 | 实例数 | 实例数 | 选择实例数。 | | 训练资源\&系统配置 | 资源配置 | 优先级 | 优先级 | 优先级相同的任务，先创建先执行。 | | 训练资源\&系统配置 | 订阅提醒 | 订阅提醒 | 订阅提醒 | 该功能开启后，平台支持两种订阅类型，预置通知和SMN通知。 预置通知：系统将在任务状态完成或失败时，通过短信或邮件将提醒发送给用户。 SMN通知：用户可在SMN云服务创建主题并维护订阅信息，在创建训练时选择对应主题以及需要通知的状态。训练状态范围：停止，失败，完成。用户手工触发的停止操作不通知用户，而资源到期的停止需通知用户。 | | 训练资源\&系统配置 | 发布模型 | 开启自动发布 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 训练资源\&系统配置 | 发布模型 | 模型可见性 | 模型可见性 | 选择发布模型的可见范围。 本空间可见：发布的模型仅当前工作空间可见。 全空间可见：发布的模型在所有空间均可见。 | | 训练资源\&系统配置 | 发布模型 | 模型名称 | 模型名称 | 要发布的模型资产名称。 | | 训练资源\&系统配置 | 发布模型 | 描述（可选） | 描述（可选） | 要发布的模型资产的相关描述，选填。 | | 训练资源\&系统配置 | 基本信息 | 名称 | 名称 | 训练任务名称。 | | 训练资源\&系统配置 | 基本信息 | 描述 | 描述 | 训练任务描述。 | 4. 参数填写完成后，单击"立即创建"。 5. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 #### 创建科学计算大模型区域新能源光预测预训练任务 创建科学计算大模型区域新能源风预测预训练任务步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图6我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601726037.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击右上角"创建训练任务"。 3. 在"创建训练任务"页面，参考[表6]完成训练参数设置。 其中，"数据配置"展示了各训练数据涉及到的全部参数，请根据具体前端页面展示的参数进行设置。 表6科学计算大模型区域新能源光预测预训练参数说明 | 导航页签 | 参数分类 | 参数子类 | 参数名称 | 参数说明 | |:---|:---|:---|:---|:---| | 训练数据配置 | 训练配置 | 选择模型 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"或"我的资产"。 - 类型：选择"科学计算大模型"，并选择训练所用的基础模型和版本。 | | 训练数据配置 | 训练配置 | 训练类型 | 训练类型 | 选择"预训练"。 | | 训练数据配置 | 训练配置 | 高级设置 | checkpoints | 模型训练任务过程中，用于保存模型权重和状态的机制。若因保存过多导致OBS容量不足，则需扩容。当前仅支持基于保存180天内的checkpoints做训练，180天到期后自动删除。 | | 训练数据配置 | 数据集 | 选择数据集 | 选择数据集 | 选择数据集中已发布的数据集，这里数据集需为再分析类型数据，同时需要完成加工作业，加工时需选择气象预处理算子。 | | 训练数据配置 | 数据集 | 时间范围 | 训练集 | 选择训练数据中的部分时间数据，训练数据集尽可能多一些。 | | 训练数据配置 | 数据集 | 时间范围 | 验证集 | 选择验证集中的部分时间数据，验证集数据不能跟训练集数据重合。 | | 训练数据配置 | 数据配置 | 区域范围 | 水平分辨率 | 水平分辨率，地理数据集或图像中两个不同格点之间可辨识的最小距离，单位为度（°）。 | | 训练数据配置 | 数据配置 | 区域范围 | 纬度范围 | 纬度区间，格式为"起点,终点"，单位为度（°）。 | | 训练数据配置 | 数据配置 | 区域范围 | 经度范围 | 经度区间，格式为"起点,终点"，单位为度（°）。 | | 训练数据配置 | 数据配置 | 区域要素 | 高空层次类型 | 设置训练数据的高空层次类型，在"预训练"场景下可下拉选择一种数据集中识别到的层次类型。 | | 训练数据配置 | 数据配置 | 区域要素 | 高空要素 | 设置训练数据的高空要素信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 区域要素 | 高空层次 | 设置训练数据的模式层信息，在"预训练"的场景中可根据选择的高空层次类型，设置对应类型的高空层次，训练任务会根据您配置的高空层次对模型重新进行训练。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面要素 | 设置训练数据的表面要素信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面观测 | 设置训练数据的表面观测信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 区域要素 | 边界条件 | 在"预训练"场景下可以根据需要勾选表面静态量用于模型训练，详见[表面静态量参数含义]。 | | 训练参数配置 | 训练参数 | 分辨率 | 时间分辨率 | 时间分辨率，即模型输入与输出之间的时间间隔。 | | 训练参数配置 | 训练参数 | 分辨率 | 全球天气时间分辨率 | 全球天气输入时间分辨率。 | | 训练参数配置 | 训练参数 | 优化器参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 训练参数 | 正则化参数 | 请参考[表12]进行配置。 || | 训练资源\&系统配置 | 资源配置 | 计费模式 | 计费模式 | 选择训练当前任务的计费模式。 | | 训练资源\&系统配置 | 资源配置 | 训练单元 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 训练资源\&系统配置 | 资源配置 | 单实例训练单元数 | 单实例训练单元数 | 选择单实例训练单元数。 | | 训练资源\&系统配置 | 资源配置 | 实例数 | 实例数 | 选择实例数。 | | 训练资源\&系统配置 | 资源配置 | 优先级 | 优先级 | 优先级相同的任务，先创建先执行。 | | 训练资源\&系统配置 | 订阅提醒 | 订阅提醒 | 订阅提醒 | 该功能开启后，平台支持两种订阅类型，预置通知和SMN通知。 预置通知：系统将在任务状态完成或失败时，通过短信或邮件将提醒发送给用户。 SMN通知：用户可在SMN云服务创建主题并维护订阅信息，在创建训练时选择对应主题以及需要通知的状态。训练状态范围：停止，失败，完成。用户手工触发的停止操作不通知用户，而资源到期的停止需通知用户。 | | 训练资源\&系统配置 | 发布模型 | 开启自动发布 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 训练资源\&系统配置 | 发布模型 | 模型可见性 | 模型可见性 | 选择发布模型的可见范围。 本空间可见：发布的模型仅当前工作空间可见。 全空间可见：发布的模型在所有空间均可见。 | | 训练资源\&系统配置 | 发布模型 | 模型名称 | 模型名称 | 要发布的模型资产名称。 | | 训练资源\&系统配置 | 发布模型 | 描述（可选） | 描述（可选） | 要发布的模型资产的相关描述，选填。 | | 训练资源\&系统配置 | 基本信息 | 名称 | 名称 | 训练任务名称。 | | 训练资源\&系统配置 | 基本信息 | 描述 | 描述 | 训练任务描述。 | 4. 参数填写完成后，单击"立即创建"。 5. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 #### 创建科学计算大模型区域中期天气要素预测微调任务 创建科学计算大模型区域中期天气要素预测微调任务步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图7我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601606037.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击右上角"创建训练任务"。 3. 在"创建训练任务"页面，参考[表7]完成训练参数设置。 其中，"数据配置"展示了各训练数据涉及到的全部参数，请根据具体前端页面展示的参数进行设置。 表7科学计算大模型区域中期天气要素预测微调参数说明 | 导航页签 | 参数分类 | 参数子类 | 参数名称 | 参数说明 | |:---|:---|:---|:---|:---| | 训练数据配置 | 训练配置 | 选择模型 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"或"我的资产"。 - 类型：选择"科学计算大模型"，并选择训练所用的基础模型和版本。 | | 训练数据配置 | 训练配置 | 训练类型 | 训练类型 | 选择"微调"。 | | 训练数据配置 | 训练配置 | 训练目标 | 训练目标 | 选择"全量微调"。 - 全量微调：在模型进行有监督微调时，对大模型的所有参数进行更新。这种方法通常能够实现最佳的模型性能，但需要消耗大量计算资源和时间，计算开销较大。 | | 训练数据配置 | 数据集 | 选择数据集 | 选择数据集 | 选择数据集中已发布的数据集，这里数据集需为再分析类型数据，同时需要完成加工作业，加工时需选择气象预处理算子。 | | 训练数据配置 | 数据集 | 时间范围 | 训练集 | 选择训练数据中的部分时间数据，训练数据集尽可能多一些。 | | 训练数据配置 | 数据集 | 时间范围 | 验证集 | 选择验证集中的部分时间数据，验证集数据不能跟训练集数据重合。 | | 训练数据配置 | 数据配置 | 区域要素 | 高空层次类型 | 设置训练数据的高空层次类型，在"微调"场景下仅做展示原模型的高空层次类型。 | | 训练数据配置 | 数据配置 | 区域要素 | 高空要素 | 设置训练数据的高空要素信息，"微调"场景中在编辑参数弹窗仅可调整目标模型参数对应权重。 - 预置参数：模型预置的参数列表。 - 来自数据集参数：数据集中识别到的非预置参数列表。 | | 训练数据配置 | 数据配置 | 区域要素 | 高空层次 | 设置训练数据的高空层次信息，在"微调"场景下仅做展示原模型的高空层次。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面要素 | 设置训练数据的表面要素信息，"微调"场景中在编辑参数弹窗仅可调整目标模型参数对应权重。 - 预置参数：模型预置的参数列表。 - 来自数据集参数：数据集中识别到的非预置参数列表。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面观测 | 设置训练数据的表面观测信息，"微调"场景中在编辑参数弹窗仅可调整目标模型参数对应权重。 - 预置参数：模型预置的参数列表。 - 来自数据集参数：数据集中识别到的非预置参数列表。 | | 训练数据配置 | 数据配置 | 区域要素 | 边界条件 | 在"微调"场景下仅做展示原模型边界条件。详见[表面静态量参数含义]。 | | 训练参数配置 | 训练参数 | 优化器参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 训练参数 | 正则化参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 高级设置 | 高级设置 | 请参考[表12]进行配置。 || | 训练资源\&系统配置 | 资源配置 | 计费模式 | 计费模式 | 选择训练当前任务的计费模式。 | | 训练资源\&系统配置 | 资源配置 | 训练单元 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 训练资源\&系统配置 | 资源配置 | 单实例训练单元数 | 单实例训练单元数 | 选择单实例训练单元数。 | | 训练资源\&系统配置 | 资源配置 | 实例数 | 实例数 | 选择实例数。 | | 训练资源\&系统配置 | 资源配置 | 优先级 | 优先级 | 优先级相同的任务，先创建先执行。 | | 训练资源\&系统配置 | 订阅提醒 | 订阅提醒 | 订阅提醒 | 该功能开启后，平台支持两种订阅类型，预置通知和SMN通知。 预置通知：系统将在任务状态完成或失败时，通过短信或邮件将提醒发送给用户。 SMN通知：用户可在SMN云服务创建主题并维护订阅信息，在创建训练时选择对应主题以及需要通知的状态。训练状态范围：停止，失败，完成。用户手工触发的停止操作不通知用户，而资源到期的停止需通知用户。 | | 训练资源\&系统配置 | 发布模型 | 开启自动发布 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 训练资源\&系统配置 | 发布模型 | 模型可见性 | 模型可见性 | 选择发布模型的可见范围。 本空间可见：发布的模型仅当前工作空间可见。 全空间可见：发布的模型在所有空间均可见。 | | 训练资源\&系统配置 | 发布模型 | 模型名称 | 模型名称 | 要发布的模型资产名称。 | | 训练资源\&系统配置 | 发布模型 | 描述（可选） | 描述（可选） | 要发布的模型资产的相关描述，选填。 | | 训练资源\&系统配置 | 基本信息 | 名称 | 名称 | 训练任务名称。 | | 训练资源\&系统配置 | 基本信息 | 描述 | 描述 | 训练任务描述。 | 4. 参数填写完成后，单击"立即创建"。 5. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 #### 创建科学计算大模型区域中期天气要素预测预训练任务 创建科学计算大模型区域中期天气要素预测预训练任务步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图8我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601725969.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击右上角"创建训练任务"。 3. 在"创建训练任务"页面，参考[表8]完成训练参数设置。 其中，"数据配置"展示了各训练数据涉及到的全部参数，请根据具体前端页面展示的参数进行设置。 表8科学计算大模型区域中期天气要素预测预训练参数说明 | 导航页签 | 参数分类 | 参数子类 | 参数名称 | 参数说明 | |:---|:---|:---|:---|:---| | 训练数据配置 | 训练配置 | 选择模型 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"或"我的资产"。 - 类型：选择"科学计算大模型"，并选择训练所用的基础模型和版本。 | | 训练数据配置 | 训练配置 | 训练类型 | 训练类型 | 选择"预训练"。 | | 训练数据配置 | 数据集 | 选择数据集 | 选择数据集 | 选择数据集中已发布的数据集，这里数据集需为再分析类型数据，同时需要完成加工作业，加工时需选择气象预处理算子。 | | 训练数据配置 | 数据集 | 时间范围 | 训练集 | 选择训练数据中的部分时间数据，训练数据集尽可能多一些。 | | 训练数据配置 | 数据集 | 时间范围 | 验证集 | 选择验证集中的部分时间数据，验证集数据不能跟训练集数据重合。 | | 训练数据配置 | 数据配置 | 区域范围 | 水平分辨率 | 水平分辨率，地理数据集或图像中两个不同格点之间可辨识的最小距离，单位为度（°）。 | | 训练数据配置 | 数据配置 | 区域范围 | 纬度范围 | 纬度区间，格式为"起点,终点"，单位为度（°）。 | | 训练数据配置 | 数据配置 | 区域范围 | 经度范围 | 经度区间，格式为"起点,终点"，单位为度（°）。 | | 训练数据配置 | 数据配置 | 区域要素 | 高空层次类型 | 设置训练数据的高空层次类型，在"预训练"场景下可下拉选择一种数据集中识别到的层次类型。 | | 训练数据配置 | 数据配置 | 区域要素 | 高空要素 | 设置训练数据的高空要素信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 区域要素 | 高空层次 | 设置训练数据的模式层信息，在"预训练"的场景中可根据选择的高空层次类型，设置对应类型的高空层次，训练任务会根据您配置的高空层次对模型重新进行训练。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面要素 | 设置训练数据的表面要素信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面观测 | 设置训练数据的表面观测信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 区域要素 | 边界条件 | 在"预训练"场景下可以根据需要勾选表面静态量用于模型训练，详见[表面静态量参数含义]。 | | 训练参数配置 | 训练参数 | 分辨率 | 时间分辨率 | 时间分辨率，即模型输入与输出之间的时间间隔。 | | 训练参数配置 | 训练参数 | 分辨率 | 全球天气时间分辨率 | 全球天气输入时间分辨率。 | | 训练参数配置 | 训练参数 | 优化器参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 训练参数 | 正则化参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 高级设置 | 高级设置 | 请参考[表12]进行配置。 || | 训练资源\&系统配置 | 资源配置 | 计费模式 | 计费模式 | 选择训练当前任务的计费模式。 | | 训练资源\&系统配置 | 资源配置 | 训练单元 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 训练资源\&系统配置 | 资源配置 | 单实例训练单元数 | 单实例训练单元数 | 选择单实例训练单元数。 | | 训练资源\&系统配置 | 资源配置 | 实例数 | 实例数 | 选择实例数。 | | 训练资源\&系统配置 | 资源配置 | 优先级 | 优先级 | 优先级相同的任务，先创建先执行。 | | 训练资源\&系统配置 | 订阅提醒 | 订阅提醒 | 订阅提醒 | 该功能开启后，平台支持两种订阅类型，预置通知和SMN通知。 预置通知：系统将在任务状态完成或失败时，通过短信或邮件将提醒发送给用户。 SMN通知：用户可在SMN云服务创建主题并维护订阅信息，在创建训练时选择对应主题以及需要通知的状态。训练状态范围：停止，失败，完成。用户手工触发的停止操作不通知用户，而资源到期的停止需通知用户。 | | 训练资源\&系统配置 | 发布模型 | 开启自动发布 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 训练资源\&系统配置 | 发布模型 | 模型可见性 | 模型可见性 | 选择发布模型的可见范围。 本空间可见：发布的模型仅当前工作空间可见。 全空间可见：发布的模型在所有空间均可见。 | | 训练资源\&系统配置 | 发布模型 | 模型名称 | 模型名称 | 要发布的模型资产名称。 | | 训练资源\&系统配置 | 发布模型 | 描述（可选） | 描述（可选） | 要发布的模型资产的相关描述，选填。 | | 训练资源\&系统配置 | 基本信息 | 名称 | 名称 | 训练任务名称。 | | 训练资源\&系统配置 | 基本信息 | 描述 | 描述 | 训练任务描述。 | 4. 参数填写完成后，单击"立即创建"。 5. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 #### 创建科学计算大模型区域降水预测微调任务 创建科学计算大模型区域降水预测微调任务步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图9我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571046862.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击右上角"创建训练任务"。 3. 在"创建训练任务"页面，参考[表9]完成训练参数设置。 其中，"数据配置"展示了各训练数据涉及到的全部参数，请根据具体前端页面展示的参数进行设置。 表9科学计算大模型区域降水预测微调参数说明 | 导航页签 | 参数分类 | 参数子类 | 参数名称 | 参数说明 | |:---|:---|:---|:---|:---| | 训练数据配置 | 训练配置 | 选择模型 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"或"我的资产"。 - 类型：选择"科学计算大模型"，并选择训练所用的基础模型和版本。 | | 训练数据配置 | 训练配置 | 训练类型 | 训练类型 | 选择"微调"。 | | 训练数据配置 | 训练配置 | 训练目标 | 训练目标 | 选择"全量微调"。 - 全量微调：在模型进行有监督微调时，对大模型的所有参数进行更新。这种方法通常能够实现最佳的模型性能，但需要消耗大量计算资源和时间，计算开销较大。 | | 训练数据配置 | 数据集 | 选择数据集 | 选择数据集 | 选择数据集中已发布的数据集，这里数据集需为再分析类型数据，同时需要完成加工作业，加工时需选择气象预处理算子。 | | 训练数据配置 | 数据集 | 时间范围 | 训练集 | 选择训练数据中的部分时间数据，训练数据集尽可能多一些。 | | 训练数据配置 | 数据集 | 时间范围 | 验证集 | 选择验证集中的部分时间数据，验证集数据不能跟训练集数据重合。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空层次类型 | 设置上游模型训练数据的高空层次类型，在"微调"场景下仅做展示原模型的上游模型高空层次类型。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空要素 | 设置上游模型训练数据的高空要素信息，"微调"场景下仅做展示原模型的上游模型高空要素。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空层次 | 设置上游模型训练数据的高空层次信息，在"微调"场景下仅做展示原模型的上游模型高空层次。 | | 训练数据配置 | 数据配置 | 上游模型 | 表面要素 | 设置上游模型训练数据的表面要素信息，"微调"场景下仅做展示原模型的上游模型表面要素。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面要素 | 设置训练数据的表面要素信息，"微调"场景中在编辑参数弹窗仅可调整目标模型参数对应权重。 - 预置参数：模型预置的参数列表。 - 来自数据集参数：数据集中识别到的非预置参数。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面观测 | 设置训练数据的表面观测信息，"微调"场景中在编辑参数弹窗仅可调整目标模型参数对应权重。 - 预置参数：模型预置的参数列表。 - 来自数据集参数：数据集中识别到的非预置参数列表。 | | 训练数据配置 | 数据配置 | 区域要素 | 边界条件 | 在"微调"场景下仅做展示原模型边界条件。详见[表面静态量参数含义]。 | | 训练参数配置 | 训练参数 | 优化器参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 训练参数 | 正则化参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 高级设置 | 高级设置 | 请参考[表12]进行配置。 || | 训练资源\&系统配置 | 资源配置 | 计费模式 | 计费模式 | 选择训练当前任务的计费模式。 | | 训练资源\&系统配置 | 资源配置 | 训练单元 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 训练资源\&系统配置 | 资源配置 | 单实例训练单元数 | 单实例训练单元数 | 选择单实例训练单元数。 | | 训练资源\&系统配置 | 资源配置 | 实例数 | 实例数 | 选择实例数。 | | 训练资源\&系统配置 | 资源配置 | 优先级 | 优先级 | 优先级相同的任务，先创建先执行。 | | 训练资源\&系统配置 | 订阅提醒 | 订阅提醒 | 订阅提醒 | 该功能开启后，平台支持两种订阅类型，预置通知和SMN通知。 预置通知：系统将在任务状态完成或失败时，通过短信或邮件将提醒发送给用户。 SMN通知：用户可在SMN云服务创建主题并维护订阅信息，在创建训练时选择对应主题以及需要通知的状态。训练状态范围：停止，失败，完成。用户手工触发的停止操作不通知用户，而资源到期的停止需通知用户。 | | 训练资源\&系统配置 | 发布模型 | 开启自动发布 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 训练资源\&系统配置 | 发布模型 | 模型可见性 | 模型可见性 | 选择发布模型的可见范围。 本空间可见：发布的模型仅当前工作空间可见。 全空间可见：发布的模型在所有空间均可见。 | | 训练资源\&系统配置 | 发布模型 | 模型名称 | 模型名称 | 要发布的模型资产名称。 | | 训练资源\&系统配置 | 发布模型 | 描述（可选） | 描述（可选） | 要发布的模型资产的相关描述，选填。 | | 训练资源\&系统配置 | 基本信息 | 名称 | 名称 | 训练任务名称。 | | 训练资源\&系统配置 | 基本信息 | 描述 | 描述 | 训练任务描述。 | 4. 参数填写完成后，单击"立即创建"。 5. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 #### 创建科学计算大模型区域降水预测预训练任务 创建科学计算大模型区域降水预测预训练任务步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图10我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206532.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击右上角"创建训练任务"。 3. 在"创建训练任务"页面，参考[表10]完成训练参数设置。 其中，"数据配置"展示了各训练数据涉及到的全部参数，请根据具体前端页面展示的参数进行设置。 表10科学计算大模型区域降水预测预训练参数说明 | 导航页签 | 参数分类 | 参数子类 | 参数名称 | 参数说明 | |:---|:---|:---|:---|:---| | 训练数据配置 | 训练配置 | 选择模型 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"或"我的资产"。 - 类型：选择"科学计算大模型"，并选择训练所用的基础模型和版本。 | | 训练数据配置 | 训练配置 | 训练类型 | 训练类型 | 选择"预训练"。 | | 训练数据配置 | 数据集 | 选择数据集 | 选择数据集 | 选择数据集中已发布的数据集，这里数据集需为再分析类型数据，同时需要完成加工作业，加工时需选择气象预处理算子。 | | 训练数据配置 | 数据集 | 时间范围 | 训练集 | 选择训练数据中的部分时间数据，训练数据集尽可能多一些。 | | 训练数据配置 | 数据集 | 时间范围 | 验证集 | 选择验证集中的部分时间数据，验证集数据不能跟训练集数据重合。 | | 训练数据配置 | 数据配置 | 区域范围 | 水平分辨率 | 水平分辨率，地理数据集或图像中两个不同格点之间可辨识的最小距离，单位为度（°）。 | | 训练数据配置 | 数据配置 | 区域范围 | 纬度范围 | 纬度区间，格式为"起点,终点"，单位为度（°）。 | | 训练数据配置 | 数据配置 | 区域范围 | 经度范围 | 经度区间，格式为"起点,终点"，单位为度（°）。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空层次类型 | 设置上游模型训练数据的高空层次类型，在"预训练"场景中可下拉选择一种数据集上游模型子目录中识别到的层次类型。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空要素 | 设置上游模型训练数据的高空要素信息，"预训练"场景中在编辑参数弹窗可选择需要用到的上游模型特征参数。 | | 训练数据配置 | 数据配置 | 上游模型 | 高空层次 | 设置上游模型训练数据的模式层信息，在"预训练"的场景中可根据选择的高空层次类型，设置对应类型的高空层次，训练任务会根据您配置的上游模型高空层次对模型重新进行训练。 | | 训练数据配置 | 数据配置 | 上游模型 | 表面要素 | 设置上游模型训练数据的表面要素信息，"预训练"场景中在编辑参数弹窗可选择需要用到的上游模型特征参数。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面要素 | 设置训练数据的表面要素信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集当前模型子目录中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集当前模型子目录中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 区域要素 | 表面观测 | 设置训练数据的表面观测信息，"预训练"场景中在编辑参数弹窗有预置参数和来自数据集参数可供选择，同时在权重配置中可设置参数对应权重。 - 预置参数：模型预置的参数列表，若数据集当前模型子目录中不存在相关参数，则对应参数不可选择。 - 来自数据集参数：数据集当前模型子目录中识别到的非预置参数列表，可根据需要进行勾选。 | | 训练数据配置 | 数据配置 | 区域要素 | 边界条件 | 在"预训练"场景下可以根据需要勾选表面静态量用于模型训练，详见[表面静态量参数含义]。 | | 训练参数配置 | 训练参数 | 分辨率 | 时间分辨率 | 时间分辨率，即模型输入与输出之间的时间间隔。 | | 训练参数配置 | 训练参数 | 分辨率 | 全球天气时间分辨率 | 全球天气输入时间分辨率。 | | 训练参数配置 | 训练参数 | 优化器参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 训练参数 | 正则化参数 | 请参考[表12]进行配置。 || | 训练参数配置 | 高级设置 | 高级设置 | 请参考[表12]进行配置。 || | 训练资源\&系统配置 | 资源配置 | 计费模式 | 计费模式 | 选择训练当前任务的计费模式。 | | 训练资源\&系统配置 | 资源配置 | 训练单元 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 训练资源\&系统配置 | 资源配置 | 单实例训练单元数 | 单实例训练单元数 | 选择单实例训练单元数。 | | 训练资源\&系统配置 | 资源配置 | 实例数 | 实例数 | 选择实例数。 | | 训练资源\&系统配置 | 资源配置 | 优先级 | 优先级 | 优先级相同的任务，先创建先执行。 | | 训练资源\&系统配置 | 订阅提醒 | 订阅提醒 | 订阅提醒 | 该功能开启后，平台支持两种订阅类型，预置通知和SMN通知。 预置通知：系统将在任务状态完成或失败时，通过短信或邮件将提醒发送给用户。 SMN通知：用户可在SMN云服务创建主题并维护订阅信息，在创建训练时选择对应主题以及需要通知的状态。训练状态范围：停止，失败，完成。用户手工触发的停止操作不通知用户，而资源到期的停止需通知用户。 | | 训练资源\&系统配置 | 发布模型 | 开启自动发布 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 训练资源\&系统配置 | 发布模型 | 模型可见性 | 模型可见性 | 选择发布模型的可见范围。 本空间可见：发布的模型仅当前工作空间可见。 全空间可见：发布的模型在所有空间均可见。 | | 训练资源\&系统配置 | 发布模型 | 模型名称 | 模型名称 | 要发布的模型资产名称。 | | 训练资源\&系统配置 | 发布模型 | 描述（可选） | 描述（可选） | 要发布的模型资产的相关描述，选填。 | | 训练资源\&系统配置 | 基本信息 | 名称 | 名称 | 训练任务名称。 | | 训练资源\&系统配置 | 基本信息 | 描述 | 描述 | 训练任务描述。 | 4. 参数填写完成后，单击"立即创建"。 5. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 表11表面静态量参数含义 | 参数名 | 区域范围 | 水平分辨率 | 参数含义 | |:---|:---|:---|:---| | TERRAIN_HEIGHT_025 | 全球 | 0.25 | 地形高度。 | | SOIL_TYPE_025 | 全球 | 0.25 | 地表土壤的分类，它影响土壤的物理和化学特性，如土壤的水分保持能力、热容量和导热性。 | | LAND_MASK_025 | 全球 | 0.25 | 二维数组，用于表示模型网格中每个单元格是否是陆地。 | | OCEAN_MASK_025 | 全球 | 0.25 | 二维数组，用于表示模型网格中每个单元格是否是海洋。 | | SOIL_TYPE_1_120 | 全球 | 1/120 | 地表土壤的分类，它影响土壤的物理和化学特性，如土壤的水分保持能力、热容量和导热性。 | | LAND_MASK_1_120 | 全球 | 1/120 | 二维数组，用于表示模型网格中每个单元格是否是陆地。 | | TERRAIN_HEIGHT_1_120 | 中国区域 | 1/120 | 地形高度。 | | DAY_PROGRESS | 全球 | 0.25 | 日变化。 | | YEAR_PROGRESS | 全球 | 0.25 | 季节变化。 | | TISR | 全球 | 0.25 | 天顶辐射功率。 | | TISR_1H | 全球 | 0.25 | 天顶辐射1小时累计能量。 | | TISR_3H | 全球 | 0.25 | 天顶辐射3小时累计能量。 | | TISR_6H | 全球 | 0.25 | 天顶辐射6小时累计能量。 | | TISR_24H | 全球 | 0.25 | 天顶辐射24小时累计能量。 | #### 通用参数 表12科学计算大模型训练通用参数 | 参数分类 | 参数名称 | 参数说明 | |:---|:---|:---| | 正则化参数 | 路径删除概率 | 用于定义路径删除机制中的删除概率。路径删除是一种正则化技术，它在训练过程中随机删除一部分的网络连接，以防止模型过拟合。这个值越大，删除的路径越多，模型的正则化效果越强，但同时也可能会降低模型的拟合能力。取值范围：\[0，1）。 | | 正则化参数 | 特征删除概率 | 用于定义特征删除机制中的删除概率。特征删除（也称为特征丢弃）是另一种正则化技术，它在训练过程中随机删除一部分的输入特征，以防止模型过拟合。这个值越大，删除的特征越多，模型的正则化效果越强，但同时也可能会降低模型的拟合能力。取值范围：\[0,1)。 | | 正则化参数 | 注意力丢弃率 | 注意力丢弃率，是一种用于正则化技术。 | | 正则化参数 | 输入加噪概率 | 定义了给输入数据加噪声的概率。加噪声是一种正则化技术，它通过在输入数据中添加随机噪声来增强模型的泛化能力。取值范围：\[0,1\]。 | | 正则化参数 | 输入加噪尺度 | 给输入数据加噪声的尺度。这个值越大，添加的噪声越强烈，模型的正则化效果越强，但同时也可能会降低模型的拟合能力。取值范围：\[0,1\]。 | | 正则化参数 | 输出加噪概率 | 给输出数据加噪声的概率，定义了给输出数据加噪声的概率。加噪声是一种正则化技术，它通过在模型的输出中添加随机噪声来增强模型的泛化能力。取值范围：\[0,1\]。 | | 正则化参数 | 输出加噪尺度 | 给输出数据加噪声的尺度，定义了给输出数据加噪声的尺度。这个值越大，添加的噪声越强烈，模型的正则化效果越强，但同时也可能会降低模型的拟合能力。取值范围：\[0,1\]。 | | 优化器参数 | 训练轮数 | 表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。取值范围：\[1-1000\]。 | | 优化器参数 | 损失类型 | 用来衡量模型预测结果与真实结果之间的差距的函数，提供MAE（平均绝对误差）、MSE（均方误差）、AsymmetricLoss（非对称）三两种损失函数。 - MSE对于异常值非常敏感，因为它会放大较大的误差。因此，如果您数据中没有异常值，或者希望模型对大的误差给予更大的惩罚，可选择MSE。 - 如果数据中存在异常值，或者希望模型对所有的误差都一视同仁，可选择MAE。 - AsymmetricLoss仅支持区域降水模型训练，通过减小过预报的损失或增大欠预报的损失来增强降水的预报效果。 | | 优化器参数 | 优化器类型 | 优化器种类。优化器是用于更新模型参数的算法，目前支持ADAM优化器。 | | 优化器参数 | Adam一阶矩估计的指数衰减率(beta1) | 用于定义ADAM优化器中的一阶矩估计的指数衰减率。一阶矩估计相当于动量，可以加速梯度在相关方向的下降并抑制震荡。取值范围：(0,1)。 | | 优化器参数 | Adam二阶矩估计的指数衰减率(beta2) | 用于定义ADAM优化器中的二阶矩估计的指数衰减率。二阶矩估计相当于RMSProp，可以调整学习率。取值范围：(0,1)。 | | 优化器参数 | 权重衰减 | 通过在损失函数中加入与模型权重大小相关的惩罚项，鼓励模型保持较小的权重，防止过拟合或模型过于复杂，取值需≥0。 | | 优化器参数 | 学习率 | 学习率决定每次训练中模型参数更新的幅度。 选择合适的学习率至关重要： - 如果学习率过大，模型可能无法收敛。 - 如果学习率过小，模型的收敛速度将变得非常慢。 预训练时，默认值为：0.00001，范围为\[0, 0.001\]。 | | 优化器参数 | 学习率调节器类型 | 用于选择学习率调度器的类型。学习率调度器可以在训练过程中动态地调整学习率，以改善模型的训练效果。目前支持CosineDecayLR调度器。 | | 优化器参数 | 强度损失权重 | 强度损失权重仅支持区域降水模型，网格数据根据数值大小计算损失的权重，范围\[0.0, 100.0\]。 | | 优化器参数 | 高估参考值 | 高估惩罚的参考值，仅在使用AsymmetricLoss时生效，减小大于该阈值的过预报的损失，范围 (0.0, 100.0\]。 | | 优化器参数 | 高估因子 | 高估惩罚因子，仅在使用AsymmetricLoss时生效，控制过预报损失的减小幅度，越大则大于高估参考值的越强，范围 \[0.0, 1.0\]。 | | 优化器参数 | 低估参考值 | 低估惩罚的参考值，仅在使用AsymmetricLoss时生效，增加小于该阈值的欠预报的损失，范围 (0.0, 100.0\]。 | | 优化器参数 | 低估因子 | 低估惩罚因子，仅在使用AsymmetricLoss时生效，控制欠预报损失的增加幅度，越大则小于低估参考值的越强，范围 \[0.0, 1.0\]。 | | 优化器参数 | 网格总损失权重 | 网格总损失权重仅支持区域降水模型，网格数据求和后计算损失值的权重，范围 \[0.0, 100.0\]。 | | 优化器参数 | 累加损失权重 | 累加损失权重仅支持区域降水模型，多个时次累加后计算损失值的权重。该参数激活后会计算多个时次累加的网格损失，并根据强度损失权重和网格总损失权重的配置分别计算多个时次累加的强度损失和网格总损失，范围 \[0.0, 100.0\]。 | | 高级设置 | checkpoints | 模型训练任务过程中，用于保存模型权重和状态的机制。若因保存过多导致OBS容量不足，则需扩容。当前仅支持基于保存180天内的checkpoints做训练，180天到期后自动删除。 |