# 推理入门：一键完成GLM-5模型部署 #### 场景介绍 为了降低用户的使用门槛，增强用户体验，ModelArts控制台推出了一键部署案例，ModelArts提供丰富的开源模型及推理框架，可通过简单表单配置，快速开启模型部署。 本案例以Ascend-vLLM框架一键部署GLM-5模型为例，介绍ModelArts一键部署服务并调用的全流程。 GLM-5是智谱AI发布的新一代开源旗舰大模型，主打复杂系统工程与长程智能体任务，在编程与Agent能力上获得开源SOTA表现。 #### 计费影响 部署推理服务时公共资源池按使用计算资源的用量计费，专属资源池的费用已在购买时支付，部署服务不再收费。 #### 前提条件 已完成华为云账号注册、实名认证及相关权限授权。具体操作，请参见[前置准备：账号与权限](https://support.huaweicloud.com/qs-modelarts/modelarts_06_0006.html#section0)。 #### 约束限制 仅"西南-贵阳一"区域的控制台新版页面支持一键部署。 #### 服务部署 1. 在[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)的"总览"页面，在GLM-5的banner区域，单击"一键部署"进入"创建服务"页面。 ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png) 仅西南-贵阳一控制台新版页面支持一键部署，旧版控制台页面不支持。在旧版总览页的右上角，可以单击"前往新版"切换到新版控制台页面。 图1新版总览页banner ![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002558566341.png "点击放大") 2. 在"创建服务"页面按[表1]配置参数，单击"确定"。 表1一键部署在线服务参数说明 | 参数 | 说明 | 本案例推荐值 | |:---|:---|:---| | 模型 | 一键部署支持预置模型部署。更多模型介绍请见[一键部署模型介绍]。 | 默认值"GLM-5" | | 服务名称 | 在线服务的名称，用于标识和管理在线服务。请按照界面提示规则填写。支持1-64个字符，可以包含字母、汉字、数字、连字符和下划线。 | service-GLM5 | | 资源池类型 | 一键部署在线服务支持使用公共资源池和专属资源池。 - **公共资源池** 部署在线服务使用公共资源池。公共资源池提供公共的计算集群，根据用户作业参数分配使用，资源按作业隔离。公共资源池经济灵活，适用于开发测试等场景。 选择公共资源池部署时，由于资源有限，可能会出现资源余量不够的场景，请排队等待。 - **专属资源池** 部署在线服务使用专属资源池。专属资源池不与其他用户共享，资源更可控。核心生产业务推荐选用专属资源池，以获得独占资源保障。 选择专属资源池需提前创建专属资源池，详情请见[创建专属资源池](https://support.huaweicloud.com/resmgmt-modelarts/resmgmt-modelarts_0004.html)。 | 公共资源池 | | 资源池 | 当资源池类型选择"专属资源池"时，单击"选择专属资源池"，在专属资源池规格中选择对应的规格进行使用，单击"确定"。暂不支持选择创建了逻辑子池的物理池。 具体规格要求8 \* Snt9b23。 | 本案例不涉及。 | | 实例规格 | 选择在线服务实例的硬件资源配置。 | 使用默认值。以控制台界面为准。 | | 自动停止 | 勾选后，需设置服务自动停止时间，默认为1小时，设置时长最多为24小时。 开启后，当服务运行时开始计时，运行时间超出您预设的时长，它将自动停止运行。 在线服务部署后，可在控制台"模型推理\>在线推理"页面单击更多\>设置自动停止，重新设置自动停止。 | 勾选，默认值"1小时"。 | 3. 在对话框中确认计费影响， 单击"确定"。 部署完成后，在ModelArts控制台的"模型推理\>在线推理"页面，查看服务的基本情况。 在线推理列表中，刚部署的服务"状态"为"部署中"，当在线服务的"状态"变为"运行中"时，表示服务部署完成。 #### 创建API KEY并绑定在线服务 当前一键部署的服务默认使用API KEY鉴权，您需要创建您自己的API KEY，绑定这个预置服务。 1. 在[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)"模型推理 \> 在线推理"页面，单击"API Key授权管理"，切换到"API Key授权管理"页签。 2. 单击"创建"，在"创建API Key"弹框中，填写API KEY信息，授权范围选择"指定在线服务"，单击"确定"。 创建API KEY后自动下载API Key，后续暂不支持手动下载，请妥善保管。 如果授权范围选择"全部在线服务"，无需执行后面的绑定服务操作。 3. 单击API KEY操作列的"绑定"。在"绑定服务"弹框中，勾选[服务部署]创建的服务，单击"确定"。 #### 在线调试服务 1. 在[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)"模型推理 \> 在线推理"页面，单击已部署完成的服务，进入详情页。 2. 切换到"预测"页签，填写请求参数： 图2预测 ![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002554582703.png "点击放大") - 请求参数：需要在已有的URL后添加/v1/chat/completions。 - Headers：添加请求头。"键"使用默认值"Authorization"，"值"中的API Key替换为[创建API KEY并绑定在线服务]中保存的API Key值。或删除Authorization键值对，无需做其他配置，系统将自动切换为IAM Token认证。 3. Body选择"raw"，请求样例如下，复制到Body体区域，单击"预测"，右侧呈现预测结果。 ``` { "model": "GLM-5", "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "你好"} ] } ``` 图3预测结果 ![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002523502774.png "点击放大") #### 实时比对 部署后的服务支持和其他服务进行推理效果的实时对比。 1. 在[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)"模型推理 \> 在线推理"的服务列表页，单击右侧操作列的"实时比对"，进入"实时比对"页面。 或在"模型推理 \> 在线推理"的服务列表页单击服务名称，进入服务详情页，单击右上角的"实时比对"，进入"实时比对"页面。 2. 此时可以在实时比对页面体验问答服务效果。 图4问答体验 ![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002523462780.png "点击放大") 3. 如果需要比对多个模型效果，在实时比对页面的右上角单击"服务对比"，勾选要对比的服务，单击"确定"。当前仅支持文本生成类服务对比。需要先部署服务才能选择。 图5实时比对 ![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002554582705.png "点击放大") 4. 输入问题，查看2个模型的回答效果。 实时比对的更多功能介绍请参见文档《[实时比对](https://support.huaweicloud.com/model-evaluation-modelarts/model-evaluation-modelarts-0001.html)》。 #### 服务调用 **获取访问地址和API Key** 本文部署时默认使用了共享网关。部署完成后，可以在服务详情页获取调用所需的访问地址和Token。 - 在线服务调用地址：在[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)"模型推理\>在线推理"页面，单击已部署完成的服务，进入详情页，获取服务的"公网调用URL"。 - 大模型接口：GLM-5模型接口为/v1/chat/completions。更多模型接口请见[一键部署模型介绍]。 - 获取API Key：[创建API KEY并绑定在线服务]中保存的API Key值。 **使用Curl或Python进行调用** 示例代码如下。 在线服务调用地址为"公网调用URL+模型接口"。 示例代码中的API_KEY需要替换为自己已获取的API Key。 #### Python（基础调用） ``` import requests import json if __name__ == '__main__': url = "https://***/v2/infer/***/v1/chat/completions" # 在线服务的调用地址=公网调用URL+模型接口 api_key = "API_KEY" # 把API_KEY替换成已获取的API Key # Send request. headers = { 'Content-Type': 'application/json', 'Authorization': f'Bearer {api_key}' } data = { "model": "GLM-5", # model参数，其他模型参数请见一键部署模型介绍 "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "你好"} ], "max_tokens": "50", # 最大输出tokens "temperature": "1" # 控制输出的随机性 } response = requests.post(url, headers=headers, data=json.dumps(data), verify=False) # Print result. print(response.status_code) print(response.text) ``` #### Curl（基础调用） ``` curl -X POST "https://***/v2/infer/***/v1/chat/completions" \ -H "Content-Type: application/json" \ -H "Authorization: Bearer $API_KEY" \ -d '{ "model": "GLM-5", "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "你好"} ], "max_tokens": 50, # 最大输出tokens "temperature": 1 # 控制输出的随机性 }' ``` #### Python（流式调用） 流式调用代码示例如下： ``` import requests import json if __name__ == '__main__': url = "https://***/v2/infer/***/v1/chat/completions" # 在线服务的调用地址=公网调用URL+模型接口 api_key = "API_KEY" # 把API_KEY替换成已获取的API Key # Send request. headers = { 'Content-Type': 'application/json', 'Authorization': f'Bearer {api_key}' } data = { "model": "GLM-5", # model参数，其他模型参数请见一键部署模型介绍 "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "你好"} ], "stream": True, # 启用流式输出 "max_tokens": "50", # 最大输出tokens "temperature": "1" # 控制输出的随机性 } response = requests.post(url, headers=headers, data=json.dumps(data), verify=False) # Print result. print(response.status_code) print(response.text) ``` #### Curl（流式调用） 流式调用代码示例如下： ``` curl -X POST "https://***/v2/infer/***/v1/chat/completions" \ -H "Content-Type: application/json" \ -H "Authorization: Bearer $API_KEY" \ -d '{ "model": "GLM-5", "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "你好"} ], "stream": true, # 启用流式输出 "max_tokens": 50, # 最大输出tokens "temperature": 1 # 控制输出的随机性 }' ``` #### 停止或删除服务 本案例使用公共资源池创建在线服务，基于服务时长计费。当您不需要使用服务时请停止或删除服务，以免继续扣费。 图6停止或删除服务 ![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002523502776.png "点击放大") #### 一键部署模型介绍 表2一键部署模型介绍 | 模型名称 | model参数 | 模型接口 | 模型介绍 | 推荐部署资源 | |:---|:---|:---|:---|:---| | GLM-5 | GLM-5 | /v1/chat/completions | 智谱清言最新代次旗舰 MoE 基础模型 w4a8 量化版本，通过引入 DSA 注意力与异步强化学习，在编程与长程智能体任务上达到 SOTA 性能。 | 8 \* Snt9b23 | | DeepSeek-V3.1 | DeepSeek-V31 | /v1/chat/completions | 支持思考模式与非思考模式，可在对话中切换。相较于DeepSeek-V3.0，具备更快的推理速度和更强大的智能体技能。 | 2\*（8 \* Snt9b3 ） | | Qwen3-8B | qwen3_8b | /v1/chat/completions | 针对高频短文本任务，实现单卡并发吞吐量2.5倍提升，大幅降低单次请求成本。 实现思考模式和非思考模式的有效融合，可在对话中切换模式。 | 1 \* Snt9b3 | | Qwen3-32B | qwen3_32b | /v1/chat/completions | 实现思考模式和非思考模式的有效融合，可在对话中切换模式。推理能力显著超过QwQ、通用能力显著超过Qwen2.5-32B-Instruct，达到同规模业界SOTA水平。 | 2 \* Snt9b3 | | Qwen3-30B-A3B | qwen3_30b_a3b | /v1/chat/completions | 利用MoE稀疏激活技术，在昇腾NPU上以1/10的推理开销，享受30B级别的模型性能。 实现思考模式和非思考模式的有效融合，可在对话中切换模式。推理能力以更小参数规模比肩QwQ-32B、通用能力显著超过Qwen2.5-14B，达到同规模业界SOTA水平。 | 2 \* Snt9b3 | | Qwen3-VL-30B-A3B | qwen3_vl_30b_a3b | /v1/chat/completions | 采用MoE架构，30B参数仅激活3B，视觉理解能力显著提升。多模态性能达到同规模视觉模型SOTA水平。 | 2 \* Snt9b3 | | GPT-OSS 120B | gpt-oss-120b | /v1/completions | OpenAI 开源 LLM 模型，通过MoE 架构，在仅需消费级硬件的条件下，实现了媲美顶级商用模型的推理能力。 | 2\*（8 \* Snt9b3） | | Qwen3-235B | qwen3-235b | /v1/chat/completions | 实现思考模式和非思考模式的有效融合，可在对话中切换模式。推理能力显著超过 QwQ、通用能力显著超过 Qwen2.5-32B-Instruct，达到同规模业界 SOTA 水平。 | 2\*（8 \* Snt9b3） | #### 常见问题 **一键部署的在线服务如何修改请求超时时间？** 通过升级部署操作在高可用配置中修改服务的请求超时时间，详情请见[升级在线服务部署](https://support.huaweicloud.com/inference-modelarts/inference2.0-modelarts-0022.html)。