# 创建盘古行业NLP大模型训练任务 #### 创建盘古行业NLP大模型预训练任务 创建NLP大模型预训练任务步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图1我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571207282.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击右上角"创建训练任务"。 3. 在"选择模型"页面，选择"模型广场 \> 大语言模型 \> 模型"，单击"确定"进入"创建训练任务"页面。 4. 在"创建训练任务"页面，参考[表1]完成训练参数设置。 表1盘古行业NLP大模型预训练参数说明 | 参数分类 | 训练参数 | 参数说明 | |:---|:---|:---| | 训练配置 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"。 - 类型：选择"大语言模型"，并选择训练所用的基础模型和版本。 | | 训练配置 | 训练类型 | 选择"预训练"。 | | 训练配置 | 高级设置 | checkpoints：在模型训练过程中，用于保存模型权重和状态的机制。 - 关闭：关闭后不保存checkpoints，无法基于checkpoints执行续训操作。 - 自动：自动保存训练过程中的所有checkpoints。 - 自定义：根据设置保存指定数量的checkpoints。 | | 训练参数 | 训练轮数 | 表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。 | | 训练参数 | 数据批量大小 | 数据集进行分批读取训练，设定每个批次数据的大小。 通常情况下，较大的数据批量可以使梯度更加稳定，从而有利于模型的收敛。然而，较大的数据批量也会占用更多的显存资源，这可能导致显存不足，并且会延长每次训练的时长。 | | 训练参数 | 学习率 | 学习率决定每次训练中模型参数更新的幅度。 选择合适的学习率至关重要： - 如果学习率过大，模型可能无法收敛。 - 如果学习率过小，模型的收敛速度将变得非常慢。 | | 训练参数 | 热身比例 | 热身比例是指在模型训练初期逐渐增加学习率的过程。 由于训练初期模型的权重通常是随机初始化的，预测能力较弱，若直接使用较大的学习率，可能导致更新过快，进而影响收敛。为解决这一问题，通常在训练初期使用较小的学习率，并逐步增加，直到达到预设的最大学习率。通过这种方式，热身比例能够避免初期更新过快，从而帮助模型更好地收敛。 | | 训练参数 | 学习率衰减比率 | 用于控制训练过程中学习率下降的幅度。 计算公式为：最低学习率 = 初始学习率 × 学习率衰减比率。 | | 训练参数 | 权重衰减系数 | 通过在损失函数中加入与模型权重大小相关的惩罚项，鼓励模型保持较小的权重，防止过拟合或模型过于复杂。 | | 训练参数 | 优化器 | 优化器参数用于更新模型的权重，常见包括adamw。 - adamw是一种改进的Adam优化器，增加了权重衰减机制，有效防止过拟合。 | | 训练参数 | 模型保存策略 | save_checkpoint_steps/save_checkpoint_epoch，训练过程中是按迭代步数，还是训练轮数保存Checkpoint文件。 | | 训练参数 | Checkpoint保存间隔 | save_checkpoint_steps，训练过程中每隔多少个训练步长保存一次模型Checkpoint文件。 | | 训练参数 | Checkpoint保存轮数 | save_checkpoint_epoch，训练过程中每个多少训练轮数保存一次模型Checkpoint文件。 | | 训练参数 | 数据预处理并发个数 | 定义了在预处理数据时，能够同时处理文件的并行进程数量。设定这个参数的主要目的是通过并发处理来加速数据预处理，从而提升训练效率。 | | 训练数据配置 | 训练集 | 选择训练模型所需的数据集。 | | 资源配置 | 计费模式 | 选择训练当前任务的计费模式。 | | 资源配置 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 资源配置 | 单实例训练单元数 | 选择单实例训练单元数。 | | 资源配置 | 实例数 | 选择实例数。 | | 资源配置 | 优先级 | 优先级相同的任务，先创建先执行。 | | 订阅提醒 | 订阅提醒 | 该功能开启后，系统将在任务状态更新时，通过短信或邮件将提醒发送给用户。 | | 发布模型 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 故障自动重启 | 自动重启 | 该功能开启后，当训练作业发生故障终止本次作业时，自动从本次中断的作业继续训练。 | | 基本信息 | 名称 | 训练任务名称。 | | 基本信息 | 描述 | 训练任务描述。 | 5. 参数填写完成后，单击"立即创建"。 6. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 #### 创建盘古行业NLP大模型增量预训练任务 在模型完成[创建盘古行业NLP大模型预训练任务]预训练后，可以对训练后的模型继续训练，该过程称为"增量预训练"。 创建盘古行业NLP大模型增量预训练任务前，请确保有已完成预训练的盘古行业NLP大模型。 创建盘古行业NLP大模型增量预训练任务的步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图2我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571047634.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击界面右上角"创建训练任务"。 3. 在"选择模型"页面，选择"我的资产 \> 大语言模型 \> 模型"，单击"确定"进入"创建训练任务"页面。 4. 其余参数配置等步骤同[创建NLP大模型预训练任务]。 #### 创建盘古行业NLP大模型全量微调任务 创建盘古行业NLP大模型全量微调任务步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图3我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571207280.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击界面右上角"创建训练任务"。 3. 在"选择模型"页面，选择"模型广场 \> 大语言模型 \> 模型"，单击"确定"进入"创建训练任务"页面。 4. 在"创建训练任务"页面，参考[表2]完成训练参数设置。 表2盘古行业NLP大模型全量微调参数说明 | 参数分类 | 训练参数 | 参数说明 | |:---|:---|:---| | 训练配置 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"。 - 类型：选择"大语言模型"，并选择训练所用的基础模型和版本。 | | 训练配置 | 训练类型 | 选择"微调"。 | | 训练配置 | 训练目标 | 选择"全量微调"。 - 全量微调：在模型进行有监督微调时，对大模型的所有参数进行更新。这种方法通常能够实现最佳的模型性能，但需要消耗大量计算资源和时间，计算开销较大。 | | 训练配置 | 高级设置 | checkpoints：在模型训练过程中，用于保存模型权重和状态的机制。 - 关闭：关闭后不保存checkpoints，无法基于checkpoints执行续训操作。 - 自动：自动保存训练过程中的所有checkpoints。 - 自定义：根据设置保存指定数量的checkpoints。 | | 训练参数 | 热身比例 | 热身比例是指在模型训练初期逐渐增加学习率的过程。 由于训练初期模型的权重通常是随机初始化的，预测能力较弱，若直接使用较大的学习率，可能导致更新过快，进而影响收敛。为解决这一问题，通常在训练初期使用较小的学习率，并逐步增加，直到达到预设的最大学习率。通过这种方式，热身比例能够避免初期更新过快，从而帮助模型更好地收敛。 | | 训练参数 | 数据批量大小 | 数据批量是指训练过程中将数据集分成小批次进行读取，并设定每个批次的数据大小。 通常，较大的批量能够使梯度更加稳定，有助于模型的收敛。然而，较大的批量也会占用更多显存，可能导致显存不足，并延长每次训练时间。 | | 训练参数 | 单步迭代时处理的数据批量大小 | 指定每次迭代时处理的数据批量大小。 | | 训练参数 | 学习率 | 学习率决定每次训练中模型参数更新的幅度。 选择合适的学习率至关重要： - 如果学习率过大，模型可能无法收敛。 - 如果学习率过小，模型的收敛速度将变得非常慢。 | | 训练参数 | 训练轮数 | 表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。 | | 训练参数 | 学习率衰减比率 | 用于控制训练过程中学习率下降的幅度。 计算公式为：最低学习率 = 初始学习率 × 学习率衰减比率。 | | 训练参数 | Agent微调 | 在训练Agent所需的NLP大模型时，可以开启此参数。通过调整训练数据中的Prompt，引导模型在特定领域或任务上生成更符合预期的回答。 在使用此参数前，请先联系盘古客服，调整Prompt和训练数据。 | | 训练参数 | 模型保存策略 | save_checkpoint_steps/save_checkpoint_epoch，训练过程中是按迭代步数，还是训练轮数保存Checkpoint文件。 | | 训练参数 | Checkpoint保存间隔 | save_checkpoint_steps，训练过程中每隔多少个训练步长保存一次模型Checkpoint文件。 | | 训练参数 | Checkpoint保存轮数 | save_checkpoint_epoch，训练过程中每个多少训练轮数保存一次模型Checkpoint文件。 | | 训练参数 | 权重衰减系数 | 通过在损失函数中加入与模型权重大小相关的惩罚项，鼓励模型保持较小的权重，防止过拟合或模型过于复杂。 | | 训练参数 | 优化器 | 优化器参数用于更新模型的权重，常见包括adamw。 - adamw是一种改进的Adam优化器，增加了权重衰减机制，有效防止过拟合。 | | 训练数据配置 | 训练集 | 选择训练模型所需的数据集。 | | 训练数据配置 | 验证集 | - 若选择"分割训练集"，则需进一步配置数据拆分比例。 - 若选择"选择数据集"，则需选择导入的数据集。 | | 资源配置 | 计费模式 | 选择训练当前任务的计费模式。 | | 资源配置 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 资源配置 | 单实例训练单元数 | 选择单实例训练单元数。 | | 资源配置 | 实例数 | 选择实例数。 | | 资源配置 | 优先级 | 优先级相同的任务，先创建先执行。 | | 订阅提醒 | 订阅提醒 | 该功能开启后，系统将在任务状态更新时，通过短信或邮件将提醒发送给用户。 | | 发布模型 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 故障自动重启 | 自动重启 | 该功能开启后，当训练作业发生故障终止本次作业时，自动从本次中断的作业继续训练。 | | 基本信息 | 名称 | 训练任务名称。 | | 基本信息 | 描述 | 训练任务描述。 | ![](https://support.huaweicloud.com/usermanual-pangulm/public_sys-resources/note_3.0-zh-cn.png) 不同模型训练参数默认值存在一定差异，请以前端页面展示的默认值为准。 5. 参数填写完成后，单击"立即创建"。 6. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。 #### 创建行业NLP大模型LoRA微调任务 创建NLP大模型LoRA微调任务步骤如下： 1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。 图4我的空间 ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601606827.png) 2. 在左侧导航栏中选择"模型开发 \> 模型训练"，单击界面右上角"创建训练任务"。 3. 在"选择模型"页面，选择"模型广场 \> 大语言模型 \> 模型"，单击"确定"进入"创建训练任务"页面。 4. 在"创建训练任务"页面，参考[表3]完成训练参数设置。 表3NLP大模型LoRA微调参数说明 | 参数分类 | 训练参数 | 参数说明 | |:---|:---|:---| | 训练配置 | 选择模型 | 可以修改如下信息： - 来源：选择"模型广场"。 - 类型：选择"大语言模型"，并选择训练所用的基础模型和版本。 | | 训练配置 | 训练类型 | 选择"微调"。 | | 训练配置 | 训练目标 | 选择"LoRA微调"。 - LoRA微调：在模型微调过程中，只对特定的层或模块的参数进行更新，而其余参数保持冻结状态。这种方法可以显著减少计算资源和时间消耗，同时在很多情况下，依然能够保持较好的模型性能。 | | 训练参数 | 数据批量大小 | 数据批量是指训练过程中将数据集分成小批次进行读取，并设定每个批次的数据大小。 通常，较大的批量能够使梯度更加稳定，有助于模型的收敛。然而，较大的批量也会占用更多显存，可能导致显存不足，并延长每次训练时间。 | | 训练参数 | 学习率衰减比率 | 用于控制训练过程中学习率下降的幅度。 计算公式为：最低学习率 = 初始学习率 × 学习率衰减比率。 | | 训练参数 | 学习率 | 学习率决定每次训练中模型参数更新的幅度。 选择合适的学习率至关重要： - 如果学习率过大，模型可能无法收敛。 - 如果学习率过小，模型的收敛速度将变得非常慢。 | | 训练参数 | 训练轮数 | 表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。 | | 训练参数 | LoRA矩阵中的秩 | lora_rank，在LoRA矩阵中，Rank的值用于衡量矩阵的复杂度和信息量。数值较大，增强模型的表示能力，但会增加训练时长；数值越小可以减少参数数量，降低过拟合风险。 | | 训练参数 | Agent微调 | 在训练Agent所需的NLP大模型时，可以开启此参数。通过调整训练数据中的Prompt，引导模型在特定领域或任务上生成更符合预期的回答。 在使用此参数前，请先联系盘古客服，调整Prompt和训练数据。 | | 训练参数 | 权重衰减系数 | 通过在损失函数中加入与模型权重大小相关的惩罚项，鼓励模型保持较小的权重，防止过拟合或模型过于复杂。 | | 训练参数 | 优化器 | 优化器参数用于更新模型的权重，常见包括adamw。 - adamw是一种改进的Adam优化器，增加了权重衰减机制，有效防止过拟合。 | | 训练数据配置 | 训练集 | 选择训练模型所需的数据集。 | | 训练数据配置 | 验证集 | - 若选择"分割训练集"，则需进一步配置数据拆分比例。 - 若选择"选择数据集"，则需选择导入的数据集。 | | 资源配置 | 计费模式 | 选择训练当前任务的计费模式。 | | 资源配置 | 训练单元 | 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 | | 资源配置 | 单实例训练单元数 | 选择单实例训练单元数。 | | 资源配置 | 实例数 | 选择实例数。 | | 订阅提醒 | 订阅提醒 | 该功能开启后，系统将在任务状态更新时，通过短信或邮件将提醒发送给用户。 | | 发布模型 | 开启自动发布 | 开启自动发布后，模型训练完成的最终产物会自动发布为空间资产，以便对模型进行压缩、部署、评测等操作或共享给其他空间。 | | 基本信息 | 名称 | 训练任务名称。 | | 基本信息 | 描述 | 训练任务描述。 | ![](https://support.huaweicloud.com/usermanual-pangulm/public_sys-resources/note_3.0-zh-cn.png) 不同模型训练参数默认值存在一定差异，请以前端页面展示的默认值为准。 5. 参数填写完成后，单击"立即创建"。 6. 创建好训练任务后，页面将返回"模型训练"页面，可随时查看当前任务的状态。