# 测试在线服务
#### 访问同步在线服务地址
在[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)左侧导航栏中选择"模型推理 \> 在线推理"，默认进入"在线推理"列表，单击目标服务的操作列的"服务调用"，查看调用信息。
也可单击目标服务名称，进入服务详情页，在"服务调用"中获取调用信息。
图1调用信息   
![](https://support.huaweicloud.com/inference-modelarts/figure/zh-cn_image_0000002699294214.png)
表1同步在线服务调用信息 
| 类型        | URL格式                                                                                                         | 说明                |
|:---|:---|:---|
| 公网调用URL     | ${服务协议}://{公网调用地址}/v2/infer/{服务ID}                                                                          | 外网访问时，通过此地址调用推理服务 |
| ELB私网调用URL | ${服务协议}://{ELB私有IP地址}/v2/infer/{服务ID}                                                                     | 通过ELB的私有IP地址调用推理服务  |
| ELB公网调用URL | ${服务协议}://{ELB弹性IP地址}/v2/infer/{服务ID}                                                                        | 通过ELB的弹性公网IP地址调用推理服务 |
| 自定义URL     | ${服务协议}://${域名}/v2/infer/${在线服务ID} ${服务协议}://${域名}/${自定义路径} | 用户可以自定义URL调用推理服务   |
   
URL示例：https://10.XX.XXX.XXX/v2/infer/testxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
ELB调用URL需要在配置服务信息时配置弹性负载均衡，使用详情请参见[通过弹性负载均衡ELB访问在线服务](https://support.huaweicloud.com/inference-modelarts/inference2.0-modelarts-0104.html)。
#### 自定义访问地址
如果用户在创建在线服务之前还打通了其他具有四层流量处理能力的网络组件，那么还需要单击"调用信息"的"自定义 URL"，将该网络组件的IP地址或域名加入自定义地址中，使得用户可以通过该IP地址或域名访问在线服务。例如用户在ELB之前还对接了APIG，并希望能通过APIG域名访问在线服务，则需要将APIG的域名加入到自定义地址中。
图2修改访问地址   
![](https://support.huaweicloud.com/inference-modelarts/figure/zh-cn_image_0000002699294614.png)
- 访问协议：支持HTTPS、HTTP、WSS、WS。HTTP/WS明文协议会导致数据泄露、数据篡改、流量劫持、钓鱼攻击等安全问题，请谨慎使用。
- 域名：可以输入域名或者IP\[:端口\]
- 路径：默认采用/v2/{infer_type}/{service_id}，infer_type是推理调用类型同步调用infer或异步调用async-infer，service_id是服务ID。路径也可以自定义，自定义路径必须以/开头。
 
 #### 使用预测功能测试在线服务
服务部署成功后，可以进入服务详情页面的预测页面，做简单的业务功能验证。服务预测页面提供简易的rest客户端功能，用户可以选择自己服务指定的请求方法，填写自己的预测路径。
在Body栏中，选择对应的数据格式raw \| binary \| stream \| fromData
- raw：用于发送原始文本数据，如 JSON、XML 或纯文本。
- binary：用于上传二进制文件，如图片、音频、视频或模型文件。
- stream：支持分块流式传输，适用于实时或连续输入数据的场景。
- fromData：以表单形式（multipart/form-data）提交数据，支持同时上传文件和填写其他文本字段。
在Headers中可以填写Header信息，比如api-key鉴权信息，将{API Key}替换为自己的API Key等。单击"预测"发送对应的预测请求。
如果删除Authorization键值对，系统将自动切换为 IAM Token 认证。
使用示例：
以Ascend-vLLM框架一键部署Qwen3-32B模型为例，测试其对话接口，参数如下：
- 请求方式：POST
- 请求路径：https://\*\*\*/v2/infer/\*\*\*/v1/chat/completions
- 请求体：
```
{
    "model": "qwen3_32b",
    "messages": [
      {"role": "system", "content": "You are a helpful assistant."},
      {"role": "user", "content": "你好"}
    ]
}
```
图3预测在线服务示例   
![](https://support.huaweicloud.com/inference-modelarts/figure/zh-cn_image_0000002694520892.png)
图4Headers填写示例   
![](https://support.huaweicloud.com/inference-modelarts/figure/zh-cn_image_0000002724320243.png)
 #### 使用CloudShell调试在线服务实例容器
允许用户使用ModelArts控制台提供的CloudShell登录运行中在线服务实例容器。
只支持专属资源池部署的在线服务使用CloudShell访问容器。
1. 登录ModelArts控制台，左侧菜单选择"模型推理 \> 在线推理"。
2. 在线服务列表页面单击"名称/ID"，进入在线服务详情页面。
3. 单击CloudShell页签，选择部署、实例和Pod节点，当连接状态变为连接成功时，即登录实例容器成功。
   如果遇到异常情况服务器主动断开或超过10分钟未操作自动断开，此时可单击"重新连接"重新登录实例容器。
   图5CloudShell界面   
   ![](https://support.huaweicloud.com/inference-modelarts/figure/zh-cn_image_0000002630676386.png)
   
   
   部分用户登录Cloud Shell界面时，可能会出现路径显示异常情况，此时在Cloud Shell中单击回车键即可恢复正常。
   图6路径异常   
   ![](https://support.huaweicloud.com/inference-modelarts/figure/zh-cn_image_0000002606459505.png) 
4. 登录实例容器成功后，在容器的终端环境执行所需的调试命令。例如：
   ![](https://support.huaweicloud.com/inference-modelarts/public_sys-resources/note_3.0-zh-cn.png)
   以下仅为示例，实际日志路径和服务状态检查方法和服务配置有关，以镜像和容器启动命令为准。
   查看日志：
   ```
   tail -f /var/log/app.log
   ```
   检查服务状态：
   ```
   systemctl status app
   ```
   执行自定义脚本：
   ```
   ./debug_script.sh
   ```
   
5. 完成调试后，使用以下命令退出容器：
   ```
   exit
   ```
   返回CloudShell终端后，您可以查看调试结果或日志文件。
   
 
#### 实时比对
部署后的服务支持和其他服务进行推理效果的实时对比。仅支持服务类型为文本生成的在线服务进行实时比对。在线服务状态为运行中、告警、升级中才能进行实时对比。
1. 在[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)"模型推理 \> 在线推理"的服务列表页，单击右侧操作列的"实时比对"，进入"实时比对"页面。
2. 图7实时比对   
   ![](https://support.huaweicloud.com/inference-modelarts/figure/zh-cn_image_0000002623237941.png)
   
   
3. 此时可以在实时比对页面体验问答服务效果。 如果需要比对多个模型效果，在实时比对页面的右上角单击"服务对比"，勾选要对比的服务，单击"确定"。当前仅支持文本生成类服务对比。需要先部署服务才能选择。
   
   输入问题，查看模型的回答效果。
   
实时比对的更多功能介绍请参见文档《[实时比对](https://support.huaweicloud.com/model-evaluation-modelarts/model-evaluation-modelarts-0001.html)》。