更新时间:2024-12-16 GMT+08:00
扩缩容模型服务实例数
在使用大型模型进行推理时,其业务需求会呈现出明显的峰谷波动。因此,模型服务必须具备灵活的扩缩容能力,以适应不同时间段内的用户负载变化,确保服务的高可用性和资源的高效利用。
ModelArts Studio大模型即服务平台支持手动扩缩容模型服务的实例数,该操作不会影响部署服务的正常运行。
约束限制
仅当模型服务处于这几个状态下才能扩缩容实例数:运行中、告警。
扩缩容实例数
- 登录ModelArts管理控制台。
- 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
- 在ModelArts Studio左侧导航栏中,选择“模型部署”进入服务列表。
- 选择“我的服务”页签。
- 选择模型服务,单击操作列的“更多 > 扩缩容”,进入扩缩容页面。
- 在扩缩容页面,根据业务需要增删模型服务的实例数,配置完成后,单击“确认”提交扩缩容任务。
- 在我的服务列表,单击服务名称,进入服务详情页,可以查看修改后的实例数是否生效。
父主题: 管理我的服务