更新时间:2025-09-30 GMT+08:00
分享

在ModelArts Studio(MaaS)扩缩容模型服务实例数

在使用大型模型进行推理时,其业务需求会呈现出明显的峰谷波动。因此,模型服务必须具备灵活的扩缩容能力,以适应不同时间段内的用户负载变化,确保服务的高可用性和资源的高效利用。

ModelArts Studio大模型即服务平台支持手动扩缩容模型服务的实例数,该操作不会影响部署服务的正常运行。

前提条件

已经在ModelArts Studio(MaaS)部署模型

约束限制

仅当模型服务处于这几个状态下才能扩缩容实例数:运行中、告警。

计费说明

扩容模型服务实例数后,在调用MaaS预置服务时,会产生计算资源和存储资源的累计值计费、Token费用详情请见ModelArts Studio(MaaS)模型推理计费项

扩缩实例数

  1. 登录ModelArts Studio(MaaS)控制台,在顶部导航栏选择目标区域。
  2. 在左侧导航栏,选择“在线推理”
  3. “在线推理”页面,单击“我的服务”页签,在目标模型服务右侧,单击操作列的“更多 > 扩缩容”,进入扩缩容页面。
  4. “扩缩容”页面,按需选择以下操作。
    • 扩容:按需增加“变更后实例数”,单击“确定”,在“扩缩容服务”对话框,单击“确定”
    • 缩容:按需减少“变更后实例数”,单击“确定”,在“缩容服务提醒”对话框,查看提示信息,确认无误后输入YES,单击“确定”
      图1 缩容服务提醒

    修改完后,在“我的服务”页签,单击服务名称,进入服务详情页,可以查看修改后的实例数是否生效。

    图2 查看实例数

后续操作

  • 模型体验:模型服务扩缩容后,可以在“模型体验”调用该模型服务进行功能体验。
  • 调用模型服务:模型服务扩缩容后,可以在其他业务环境中调用该模型服务进行预测。
  • 查看预置服务的调用数据:MaaS提供调用统计功能,可以查看模型服务在指定时间段内的调用数据详情,监控服务使用情况和资源消耗。

相关文档