在ModelArts Studio(MaaS)扩缩容模型服务实例数
在使用大型模型进行推理时,其业务需求会呈现出明显的峰谷波动。因此,模型服务必须具备灵活的扩缩容能力,以适应不同时间段内的用户负载变化,确保服务的高可用性和资源的高效利用。
ModelArts Studio大模型即服务平台支持手动扩缩容模型服务的实例数,该操作不会影响部署服务的正常运行。
前提条件
已经在ModelArts Studio(MaaS)部署模型。
约束限制
仅当模型服务处于这几个状态下才能扩缩容实例数:运行中、告警。
计费说明
扩容模型服务实例数后,在调用MaaS预置服务时,会产生计算资源和存储资源的累计值计费、Token费用详情请见ModelArts Studio(MaaS)模型推理计费项。
扩缩实例数
- 登录ModelArts Studio(MaaS)控制台,在顶部导航栏选择目标区域。
- 在左侧导航栏,选择“在线推理”。
- 在“在线推理”页面,单击“我的服务”页签,在目标模型服务右侧,单击操作列的“更多 > 扩缩容”,进入扩缩容页面。
- 在“扩缩容”页面,按需选择以下操作。
- 扩容:按需增加“变更后实例数”,单击“确定”,在“扩缩容服务”对话框,单击“确定”。
- 缩容:按需减少“变更后实例数”,单击“确定”,在“缩容服务提醒”对话框,查看提示信息,确认无误后输入YES,单击“确定”。
图1 缩容服务提醒
修改完后,在“我的服务”页签,单击服务名称,进入服务详情页,可以查看修改后的实例数是否生效。
图2 查看实例数
后续操作
- 模型体验:模型服务扩缩容后,可以在“模型体验”调用该模型服务进行功能体验。
- 调用模型服务:模型服务扩缩容后,可以在其他业务环境中调用该模型服务进行预测。
- 查看预置服务的调用数据:MaaS提供调用统计功能,可以查看模型服务在指定时间段内的调用数据详情,监控服务使用情况和资源消耗。