更新时间:2024-12-16 GMT+08:00
分享

扩缩容模型服务实例数

在使用大型模型进行推理时,其业务需求会呈现出明显的峰谷波动。因此,模型服务必须具备灵活的扩缩容能力,以适应不同时间段内的用户负载变化,确保服务的高可用性和资源的高效利用。

ModelArts Studio大模型即服务平台支持手动扩缩容模型服务的实例数,该操作不会影响部署服务的正常运行。

约束限制

仅当模型服务处于这几个状态下才能扩缩容实例数:运行中、告警。

扩缩容实例数

  1. 登录ModelArts管理控制台。
  2. 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
  3. 在ModelArts Studio左侧导航栏中,选择“模型部署”进入服务列表。
  4. 选择“我的服务”页签。
  5. 选择模型服务,单击操作列的“更多 > 扩缩容”,进入扩缩容页面。
  6. 在扩缩容页面,根据业务需要增删模型服务的实例数,配置完成后,单击“确认”提交扩缩容任务。
  7. 在我的服务列表,单击服务名称,进入服务详情页,可以查看修改后的实例数是否生效。

相关文档