使用MaaS部署模型服务
在ModelArts Studio大模型即服务平台可以将模型部署为服务,便于在“模型体验”或其他业务环境中可以调用。
约束限制
部署模型服务时,ModelArts Studio大模型即服务平台预置了推理的最大输入输出长度,“通义千问-14B”模型默认是2048,其他模型默认都是4096。
前提条件
在“我的模型”页面存在已创建成功的模型。
部署模型服务
- 登录ModelArts管理控制台。
- 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
- 在ModelArts Studio左侧导航栏中,选择“模型部署”进入服务列表。
- 单击“部署模型服务”进入部署页面,完成创建配置。
表1 部署模型服务 参数
说明
服务设置
服务名称
自定义部署模型服务的名称。
支持1~64位,以中文、大小写字母开头,只包含中文、大小写字母、数字、中划线、下划线的名称。
描述
部署模型服务的简介。支持256字符。
模型设置
部署模型
单击“选择模型”,从“我的模型”列表中选择需要部署的模型。
资源设置
资源池类型
资源池分为公共资源池与专属资源池。
- 公共资源池供所有租户共享使用。
- 专属资源池需单独创建,不与其他租户共享。
实例规格
选择实例规格,规格中描述了服务器类型、型号等信息。
单实例流量限制(QPM)
设置单实例的QPM,可以参考QPM的参考值说明设置待部署模型的QPM值。
单位:次/分钟
说明:在部署过程中出现错误码“ModelArts.4206”时,表示QPM请求数量达到限制,建议等待限流结束后再重启服务。
实例数
设置服务器个数。设置多个实例可提高总QPM,“总QPM=单实例QPM x 实例数”。
更多选项
事件通知
选择是否打开“事件通知”开关。
- 开关关闭(默认关闭):表示不启用消息通知服务。
- 开关打开:表示订阅消息通知服务,当任务发生特定事件(如任务状态变化或疑似卡死)时会发送通知。此时必须配置“主题名”和“事件”。
- “主题名”:事件通知的主题名称。单击“创建主题”,前往消息通知服务中创建主题。
- “事件”:选择要订阅的事件类型。例如“创建中”、“已完成”、“运行失败”等。
自动停止
当使用付费资源时,可以选择是否打开“自动停止”开关。
- 开关关闭(默认关闭):表示任务将一直运行。
- 开关打开:表示启用自动停止功能,此时必须配置自动停止时间,支持设置为“1小时”、“2小时”、“4小时”、6小时或“自定义”。启用该参数并设置时间后,运行时长到期后将会自动终止任务,准备排队等状态不扣除运行时长。
- 参数配置完成后,单击“提交”,创建部署任务。
在任务列表,当模型“状态”变成“运行中”时,表示模型部署完成。
查看部署任务信息
- 登录ModelArts管理控制台。
- 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
- 在ModelArts Studio左侧导航栏中,选择“模型部署”进入服务列表。
- 单击服务名称,进入部署模型服务详情页面,可以查看服务详情和监控。
- “详情”:可以查看服务的基本信息,包括服务、模型、资源等设置信息。
- “监控”:可以查看服务监控和资源监控信息。
删除部署任务
![](https://support.huaweicloud.com/usermanual-maas-modelarts/public_sys-resources/note_3.0-zh-cn.png)
删除操作无法恢复,请谨慎操作。
- 登录ModelArts管理控制台。
- 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
- 在ModelArts Studio左侧导航栏中,选择“模型部署”进入服务列表。
- 选择部署模型服务,单击操作列的“更多 > 删除”,在弹窗中输入“DELETE”,单击“确定”,删除服务。
QPM的参考值说明
单实例流量限制QPM和请求的输入输出有关,表2中的QPM参考值是在长输入、短输出场景、限定增量时延(70ms)的场景下预估出的数据,仅供参考,如果要了解其余典型场景的QPM参考值请联系技术支持。
单位:次/分钟
模型名称 |
QPM推荐区间 |
---|---|
Baichuan2-13B |
65~75 |
ChatGLM3-6b |
195~240 |
Llama2-13B |
70~90 |
Llama2-13B-AWQ |
75~95 |
Llama2-13B-SQ |
95~120 |
Llama2-70B-AWQ |
15~20 |
Llama2-7B |
150~185 |
Llama2-7B-AWQ |
135~165 |
Llama2-7B-SQ |
175~215 |
Llama3-70B-AWQ |
10~10 |
Llama3-8B |
210~255 |
Llama3-8B-AWQ |
195~240 |
Llama3-8B-SQ |
270~330 |
Llama3.1-8B |
215~265 |
Qwen1.5-14B |
65~80 |
Qwen1.5-14B-AWQ |
70~85 |
Qwen1.5-14B-SQ |
80~100 |
Qwen1.5-32B |
75~90 |
Qwen1.5-72B-AWQ |
25~30 |
Qwen1.5-7B |
135~165 |
Qwen1.5-7B-AWQ |
130~155 |
Qwen1.5-7B-SQ |
160~200 |
Qwen-14B |
70~85 |
Qwen2-72B-AWQ |
10~10 |
Qwen2-7B |
215~265 |
Qwen2-7B-AWQ |
215~265 |
Qwen-7B |
140~170 |
Qwen2-1.5B |
380~460 |
Qwen2-0.5B |
465~570 |
Glm-4-9B |
160~200 |
Yi-34B |
75~90 |
Yi-6B |
260~315 |