MaaS调优模型

约束限制

训练数据集的名称不能含有中文。

前提条件

• 已准备好训练数据集，并存放于OBS桶中，OBS桶必须和MaaS服务在同一个Region下。关于如何创建OBS桶和上传文件，请参见OBS控制台快速入门。
• 当需要永久保存日志时，需要准备好存放日志的OBS路径，OBS桶必须和MaaS服务在同一个Region下。
• 如果需要对已创建的模型进行调优，则该模型需支持调优，且在“我的模型”页面中，模型的“状态”为“创建成功”。
  • 关于是否支持调优，请参见支持模型微调的模型。
  • 关于如何创建模型，请参见MaaS创建模型。
• 已准备公共资源池或专属资源池。

创建调优作业

1. 登录MaaS控制台，在顶部导航栏中选择目标区域。
2. 选择“模型定制 > 模型调优”。
3. 在“模型调优”页面右上角，单击“创建调优作业”，参考表1完成创建配置。
   图1 创建调优作业
   

   表1 创建调优作业参数说明

   参数		说明
   作业设置	作业名称	自定义调优作业名称。支持长度为100个字符，以中文、大小写字母或数字开头，只包含中文字符、大小写字母、数字、中划线(-)、下划线(_)、（.）。
   	描述	自定义调优作业简介。支持255个字符。
   模型设置	来源模型	单击“请选择模型”，在“选择模型”对话框中选择“模型广场”或“我的模型”下面的模型。关于模型的介绍，请参见在模型广场查看预置模型和MaaS创建模型。
   	调优类型	MaaS支持全参微调、LoRA微调和增量预训练三种调优类型。不同模型支持的调优类型不同，不支持的调优类型会置灰，详情请参见表3。 全参微调：直接在模型上训练，影响模型全量参数的微调训练，效果较好，收敛速度较慢，训练时间较长。 LoRA微调：冻结原模型，通过往模型中加入额外的网络层，并只训练这些新增的网络层参数，效果接近或略差于全参训练，收敛速度快，训练时间短。 增量预训练：在现有预训练模型基础上，利用新数据或特定领域的数据增强模型的能力和性能。允许模型逐步适应新的作业和数据，避免过拟合和欠拟合问题，进一步提高模型的泛化能力。
   	调优后模型名称	设置调优后产生的新模型的名称。 支持1~64位，以中文、大小写字母开头，只包含中文、大小写字母、数字、下划线（_）、中划线（-）和半角句号（.）。
   	调优后模型权重存放路径	选择调优后模型权重文件的OBS存放路径。训练后将在指定路径下自动创建以作业ID命名的新文件夹进行权重存储。
   数据设置	选择数据集格式	支持选择MOSS、Alpaca和ShareGPT。训练数据需要按照对应格式，上传符合规范的数据集，以更好完成训练作业。关于数据集示例，请参见调优数据集要求。 说明： 如果数据集选择错误，您可以通过以下方式查看日志详情。更多信息，请参见调优数据集异常日志说明。 登录MaaS控制台，在“模型调优”页面单击目标作业，在作业详情的日志页签查看详情。
   	添加数据集	选择存放训练数据集的OBS路径，必须选择到文件。单次上传本地文件到OBS的总大小不能超过5GB，详情请参见如何上传超过5GB的大对象。 说明： 数据集必须满足要求（请参见支持模型微调的模型和调优数据集要求），否则调优会失败。
   超参设置	数据条数	输入数据集中的总数据条数。
   	迭代轮次/Epoch	训练过程中模型遍历整个数据集的次数。不同量级数据集的建议值：百量集4~8；千量集2~4；更大数量级1~2。
   	迭代步数/Iterations	计算得出的模型参数/权重更新的次数。在调优过程中，Qwen2-72B-1K模型的每一个Iterations会消耗512条训练数据，其他模型的每一个Iterations会消耗32条训练数据。 当数据集是数百量级，则建议迭代4~8个epoch（epoch表示整个数据集被完整地用于一次训练的次数）；当数据集是数千量级，则建议迭代2~4个epoch；当数据集是更大数量，则建议迭代1~2个epoch。 总Iterations = 整个数据集完整训练需要的Iterations * epoch。例如，当一个数据集有3200条数据，完整训练一个数据集的Iterations为100，迭代2个epoch，总Iterations就是200。 取值范围：1~100000
   	学习率/learning_rate	设置每个迭代步数（iteration）模型参数/权重更新的速率。学习率设置的过高会导致模型难以收敛，过低则会导致模型收敛速度过慢。 取值范围：[0, 0.1] 默认值：0.00002 建议微调场景的学习率设置在10-5这个量级。
   	Checkpoint保存个数	训练过程中保存Checkpoint的个数。最小值为1，最大值为“迭代步数/Iterations”的参数值，不超过10。Checkpoint会自动存储到“调优后模型权重保存路径”的OBS路径下。
   资源设置	资源池类型	资源池分为公共资源池与专属资源池。 公共资源池由所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。
   	规格	选择规格，规格中描述了服务器类型、型号等信息，仅显示模型支持的资源。
   	计算节点个数	当计算节点个数大于1时，将启动多节点分布式训练。详细信息，请参见分布式训练功能介绍。
   更多选项	永久保存日志	选择是否打开“永久保存日志”开关。 开关关闭（默认关闭）：表示不永久保存日志，则作业日志会在30天后被清理。可以在作业详情页下载全部日志至本地。 开关打开：表示永久保存日志，此时必须配置“日志路径”，系统会将作业日志永久保存至指定的OBS路径。
   	事件通知	选择是否打开“事件通知”开关。 开关关闭（默认关闭）：表示不启用消息通知服务。 开关打开：表示订阅消息通知服务，当作业发生特定事件（如作业状态变化或疑似卡死）时会发送通知。此时必须配置“主题名”和“事件”。 “主题名”：事件通知的主题名称。单击“创建主题”，前往消息通知服务中创建主题。 “事件”：选择要订阅的事件类型。例如“创建中”、“已完成”、“运行失败”等。 说明： 需要为消息通知服务中创建的主题添加订阅，当订阅状态为“已确认”后，方可收到事件通知。订阅主题的详细操作请参见添加订阅。 使用消息通知服务会产生相关服务费用，详细信息请参见计费说明。
   	自动停止	当使用付费资源时，可以选择是否打开“自动停止”开关。 开关关闭（默认关闭）：表示作业将一直运行直至完成。 开关打开：表示启用自动停止功能，此时必须配置自动停止时间，支持设置为“1小时”、“2小时”、“4小时”、“6小时”或“自定义”。启用该参数并设置时间后，运行时长到期后将会自动终止作业，准备排队等状态不扣除运行时长。
   	自动重启	选择是否打开“自动重启”开关。 开关关闭（默认关闭）：表示不启用自动重启。 开关打开：表示当由于环境问题导致训练作业异常时，系统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。 打开开关后，可以设置“最大重启次数”和是否启用“无条件自动重启”。 重启次数的取值范围是1~128，缺省值为3。创建调优作业后不支持修改重启次数，请合理设置次数。 开启无条件自动重启后，只要系统检测到训练异常，就无条件重启训练作业。为了避免无效重启浪费算力资源，系统最多只支持连续无条件重启3次。 如果训练过程中触发了自动重启，则平台会自动获取最新的Checkpoint，并从该点重启作业。

4. 参数配置完成后，单击“提交”。

   “资源池类型”选择“公共资源池”时，会出现“计费提醒”对话框，请您仔细阅读预计调优运行时间和预计消耗费用信息，然后单击“确定”，创建调优作业。该预估费用不包含OBS存储费用。预估费用基于目录价和预估时长计算，估算存在波动性，最终以实际发生为准。

   在“模型调优”列表中，当模型调优作业的“状态”变成“已完成”时，表示模型调优完成。

管理调优作业

调优作业创建完成后，您还可以执行中的操作。

后续操作

您可以将调优后的模型部署为我的服务，并进行在线体验或API调用。具体操作，请参见部署模型服务、在MaaS体验文本对话和调用MaaS部署的模型服务。

相关文档

如果调优任务创建/运行失败，您可以参考故障排除进行定位。