更新时间:2024-12-16 GMT+08:00
分享

修改模型服务QPS

流量限制QPS是评估模型服务处理能力的关键指标,它指示系统在高并发场景下每秒能处理的请求量。这一指标直接关系到模型的响应速度和处理效率。不当的QPS配置可能导致用户等待时间延长,影响满意度。因此,能够灵活调整模型的QPS对于保障服务性能、优化用户体验、维持业务流畅及控制成本至关重要。

ModelArts Studio大模型即服务平台支持手动修改模型服务的实例流量限制QPS,该操作不会影响部署服务的正常运行。

约束限制

仅当模型服务处于这几个状态下才能修改QPS:运行中、异常。

修改QPS

  1. 登录ModelArts管理控制台。
  2. 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
  3. 在ModelArts Studio左侧导航栏中,选择“模型部署”进入服务列表。
  4. 选择“我的服务”页签。
  5. 选择模型服务,单击操作列的“更多 > 设置QPS”,在弹窗中修改数值,单击“提交”启动修改任务。
    图1 修改QPS
  6. 在我的服务列表,单击服务名称,进入服务详情页,可以查看修改后的QPS是否生效。

相关文档