构建增量预训练任务
创建增量预训练任务
创建NLP大模型增量预训练任务步骤如下:
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
- 在左侧导航栏中选择“模型开发 > 模型训练”,单击界面右上角“创建训练任务”。
- 在“选择模型”页面,选择“我的资产 > 大语言模型 > 模型”,单击“确定”进入“创建训练任务”页面。
- 在“创建训练任务”页面,参考表1完成训练参数设置,参数默认值在创建训练任务的时候会带出。
参数分类 |
训练参数 |
参数说明 |
---|---|---|
训练配置 |
模型类型 |
本案例中设置为n2-32k-pretrain-pretrain--0。 可以修改如下信息:
|
训练类型 |
选择“预训练”。 |
|
高级设置 |
根据实际OBS大小设置即可。 checkpoints:在模型训练过程中,用于保存模型权重和状态的机制。
|
|
训练参数 |
热身比例 |
本案例中设置为0.01。如果发现初始的时候loss波动较大,可以适当增加warmup的比例。 热身比例是指在模型训练初期逐渐增加学习率的过程。由于增量预训练数据的分布和原有模型学习的数据分布存在偏差,训练初期若直接使用较大的学习率,可能导致更新过快,进而影响收敛。为解决这一问题,通常在训练初期使用较小的学习率,并逐步增加,直到达到预设的最大学习率。通过这种方式,热身比例能够避免初期更新过快,从而帮助模型更好地收敛 |
数据批量大小 |
本案例中设置为32。通常来说预训练任务保持每个批次数据的token数在4M或8M即可。 数据集进行分批读取训练,设定每个批次数据的大小。通常情况下,较大的数据批量可以使梯度更加稳定,从而有利于模型的收敛。需要注意的是,批量大小应该根据实际数据量设置,并且需要联动修改学习率的大小,如果批量大小增大,学习率也可以适当增加,保证模型正常收敛。 |
|
学习率衰减比率 |
本案例中设置为0.1。 学习率衰减后的比率,用于控制训练过程中学习率的下降幅度。经过衰减后,学习率的最低值由初始学习率和衰减比率决定。其计算公式为:最低学习率 = 初始学习率 * 学习率衰减比率。也就是说,学习率在每次衰减后不会低于这个计算出来的最低值。在增量预训练任务中,可以保持恒定学习率来学习行业知识。 |
|
权重衰减系数 |
本案例中设置为0.1。 通过在损失函数中加入与模型权重大小相关的惩罚项,鼓励模型保持较小的权重,防止过拟合或模型过于复杂。 |
|
优化器 |
本案例中设置为adamw。 优化器参数用于更新模型的权重,常见包括adamw。
|
|
学习率 |
本案例中设置为0.000005。如果在训练中发现loss值有上升的趋势,可以适当调小学习率 学习率决定了每次训练时模型参数更新的幅度。选择合适的学习率非常重要:如果学习率太大,模型可能会无法收敛;如果学习率太小,模型的收敛速度会变得非常慢。 |
|
训练轮数 |
本案例中设置为1。 指完成全部训练数据集训练的次数。 |
|
模型保存步数 |
本案例中设置为10000。 每训练一定数量的步骤(或批次),模型的状态将会被保存。可以通过以下公式预估已训练的数据量: token_num = step * batch_size * sequence
|
|
数据预处理并发个数 |
本案例中设置为50。 files_processes,数据预处理并发个数。 |
|
旋转位置编码 |
本案例中使用默认值。 rotary_base,位置编码的基底值,一般情况建议使用默认值。 |
|
数据配置 |
训练集 |
选择训练模型所需的数据集。要求数据集经过发布操作,操作方法请参见配比并发布数据集。 |
资源配置 |
计费模式 |
本案例中使用默认值。 选择训练当前任务的计费模式。 |
训练单元 |
本案例中使用默认值。 选择训练模型所需的训练单元。 当前展示的完成本次训练所需要的最低训练单元要求。 |
|
单实例训练单元数 |
本案例中使用默认值。 选择单实例训练单元数。 |
|
实例数 |
本案例中使用默认值。 选择实例数。 |
|
订阅提醒 |
订阅提醒 |
该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。 |
发布模型 |
开启自动发布 |
开启自动发布后,模型训练完成的最终产物会自动发布为空间资产,以便对模型进行压缩、部署、评测等操作或共享给其他空间。 |
基本信息 |
名称 |
训练任务名称。 |
描述 |
训练任务描述。 |

表格中展示了本案例所需的微调训练参数,不同模型训练参数存在一定差异,请以前端页面展示为准。
- 参数填写完成后,单击“立即创建”。
- 创建好训练任务后,页面将返回“模型训练”页面,可随时查看当前任务的状态。
查看训练任务详情
模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练结果、训练任务详情和训练日志等信息。
- 查看训练结果:一个正常Loss曲线示例如图2,通过观察Loss曲线,其随着迭代步数的增加呈下降趋势直至稳定,证明整个训练状态是正常的。
- 查看任务详情:可以看到本次训练使用参数配置信息。
- 查看日志:您可以看到全部的训练过程日志,可以帮助您更好地分析训练过程。
发布训练后的大模型
NLP大模型训练完成后,需要执行发布操作,操作步骤如下:
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
- 在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。
- 单击进入“训练结果”页签,单击“发布”。
图3 发布模型
- 填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。发布后的模型会作为模型资产同步显示在“空间资产 > 模型”列表中。
发布后的模型,支持继续进行训练&模型部署。