更新MaaS模型服务的模型权重

场景描述

用户在运用大型模型进行推理任务时，需定期对模型进行迭代和优化。为适应模型权重的更新和迭代，必须对已部署的服务执行相应的升级操作，以确保服务使用的是最新模型。

ModelArts Studio大模型即服务平台支持滚动升级模型权重，允许模型服务在运行时进行权重的迭代升级，该操作不会影响部署服务的正常运行。滚动升级模型权重的功能避免了重新部署整个模型服务的必要性，从而确保了服务的连续性，无需执行任何业务迁移操作。

约束限制

• 模型权重更新后，后续对部署模型进行操作，即从“我的模型”中对该部署模型发起的操作时，都将基于新权重进行。
• 仅当模型服务处于这几个状态下才能更新权重：运行中、异常、告警、停止。

步骤1：验证模型权重文件

在进行模型服务升级之前，必须先确认模型权重文件能够成功完成推理任务。只有当验证成功，确保了模型权重的功能性和准确性后，才可以进行模型权重的滚动升级。

1. 获取待更新的模型权重文件，并上传到OBS桶中。
2. 参考创建我的模型，用待更新的模型权重文件新建一个我的模型。关键参数请参见表1。

   表1 创建模型的关键参数说明

   参数	说明
   来源模型	选择和待升级的模型服务的“部署模型”同一个模型框架。
   权重设置与词表	选择“自定义权重”。
   选择自定义权重路径	选择存放待更新的模型权重文件的OBS路径，必须选择到模型文件夹。
   权重校验	开启权重文件校验。

3. 参考部署模型服务，用新建的模型部署模型服务。
   • “模型设置”选择上一步新建的模型。
   • “资源设置”和待升级的模型服务保持一致。
   • 其他参数自定义。
4. 参考调用MaaS部署的模型服务，用上一步部署的模型服务验证推理效果。
   • 如果推理结果正确，则使用该模型权重完成执行步骤2：滚动升级模型权重。
   • 如果推理结果不正确，请先排查原因，待能正常完成推理任务后再用该模型权重文件升级。

步骤2：滚动升级模型权重

当模型权重文件验证成功后，可以开始模型权重的滚动升级。

1. 登录ModelArts管理控制台。
2. 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
3. 在ModelArts Studio左侧导航栏中，选择“模型部署”进入服务列表。
4. 在服务列表，选择要升级的服务，单击操作列的“更多 > 更新权重”。
5. 在更新权重弹窗中，设置“自定义权重上传路径”，选择验证成功的模型权重文件存放的OBS路径，必须选择到模型文件夹。
6. 设置完成后，单击“确定”，在“权重变更确认”弹窗中单击“确定”，开始更新权重。服务状态变成“升级中”。