修改模型服务QPS
流量限制QPS是评估模型服务处理能力的关键指标,它指示系统在高并发场景下每秒能处理的请求量。这一指标直接关系到模型的响应速度和处理效率。不当的QPS配置可能导致用户等待时间延长,影响满意度。因此,能够灵活调整模型的QPS对于保障服务性能、优化用户体验、维持业务流畅及控制成本至关重要。
ModelArts Studio大模型即服务平台支持手动修改模型服务的实例流量限制QPS,该操作不会影响部署服务的正常运行。
约束限制
仅当模型服务处于这几个状态下才能修改QPS:运行中、异常。
修改QPS
- 登录ModelArts管理控制台。
- 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
- 在ModelArts Studio左侧导航栏中,选择“模型部署”进入服务列表。
- 选择“我的服务”页签。
- 选择模型服务,单击操作列的“更多 > 设置QPS”,在弹窗中修改数值,单击“提交”启动修改任务。
图1 修改QPS
- 在我的服务列表,单击服务名称,进入服务详情页,可以查看修改后的QPS是否生效。