使用MaaS部署模型服务

约束限制

部署模型服务时，ModelArts Studio大模型即服务平台预置了推理的最大输入输出长度。模型Qwen-14B默认是2048，模型Qwen2-72B-32K和Qwen2.5-72B-32K默认是32768，其他模型默认都是4096。

前提条件

在“我的模型”页面存在已创建成功的模型。

部署模型服务

1. 登录ModelArts管理控制台。
2. 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
3. 在ModelArts Studio左侧导航栏中，选择“模型部署”进入服务列表。
4. 单击“部署模型服务”进入部署页面，完成创建配置。

   表1 部署模型服务

   参数		说明
   服务设置	服务名称	自定义部署模型服务的名称。 支持1~64位，以中文、大小写字母开头，只包含中文、大小写字母、数字、中划线、下划线的名称。
   	描述	部署模型服务的简介。支持256字符。
   模型设置	部署模型	单击“选择模型”，从“我的模型”列表中选择需要部署的模型。
   资源设置	资源池类型	资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。
   	实例规格	选择实例规格，规格中描述了服务器类型、型号等信息。
   	流量限制（QPS）	设置待部署模型的流量限制QPS。 单位：次/秒 说明： 在部署过程中出现错误码“ModelArts.4206”时，表示QPS请求数量达到限制，建议等待限流结束后再重启服务。
   	实例数	设置服务器个数。 推荐实例数 = 流量限制 ÷ 推荐的单实例流量限制 推荐的单实例流量限制请参见单实例QPS的推荐值说明。
   更多选项	事件通知	选择是否打开“事件通知”开关。 开关关闭（默认关闭）：表示不启用消息通知服务。 开关打开：表示订阅消息通知服务，当任务发生特定事件（如任务状态变化或疑似卡死）时会发送通知。此时必须配置“主题名”和“事件”。 “主题名”：事件通知的主题名称。单击“创建主题”，前往消息通知服务中创建主题。 “事件”：选择要订阅的事件类型。例如“运行中”、“已终止”、“运行失败”等。 说明： 需要为消息通知服务中创建的主题添加订阅，当订阅状态为“已确认”后，方可收到事件通知。订阅主题的详细操作请参见添加订阅。 使用消息通知服务会产生相关服务费用，详细信息请参见计费说明。
   	自动停止	当使用付费资源时，可以选择是否打开“自动停止”开关。 开关关闭（默认关闭）：表示任务将一直运行。 开关打开：表示启用自动停止功能，此时必须配置自动停止时间，支持设置为“1小时”、“2小时”、“4小时”、6小时或“自定义”。启用该参数并设置时间后，运行时长到期后将会自动终止任务，准备排队等状态不扣除运行时长。

5. 参数配置完成后，单击“提交”，创建部署任务。

   在“我的服务”列表，当模型“状态”变成“运行中”时，表示模型部署完成。

查看部署任务信息

1. 登录ModelArts管理控制台。
2. 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
3. 在ModelArts Studio左侧导航栏中，选择“模型部署”进入服务列表。
4. 选择“我的服务”页签。
5. 单击服务名称，进入部署模型服务详情页面，可以查看服务信息。
   • “详情”：可以查看服务的基本信息，包括服务、模型、资源等设置信息。
   • “监控”：可以查看服务监控和资源监控信息。
     

     “算力利用率”表示每分钟NPU的平均使用率，当请求率较低时，使用率会显示为0。

   • “事件”：可以查看服务的事件信息。事件保存周期为1个月，1个月后自动清理数据。
   • “日志”：可以搜索和查看服务日志。

删除部署任务

删除操作无法恢复，请谨慎操作。

1. 登录ModelArts管理控制台。
2. 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
3. 在ModelArts Studio左侧导航栏中，选择“模型部署”进入服务列表。
4. 选择“我的服务”页签。
5. 选择待删除的服务，单击操作列的“更多 > 删除”，在弹窗中输入“DELETE”，单击“确定”，删除服务。

单实例QPS的推荐值说明

单实例流量限制QPS和请求的输入输出有关，表2中的QPS推荐值是在多轮对话、摘要生产和信息检索场景下预估出的数据，仅供参考，如果要了解其余典型场景的QPS推荐值请联系技术支持。

单位：次/秒