# 使用API调用NLP大模型
预置模型或训练后的模型部署成功后，可以使用"文本对话"API实现模型调用。NLP推理服务支持使用盘古推理接口（V1推理接口）调用，也支持使用业界通用的OpenAi格式接口（V2推理接口）调用。V1接口、V2接口的鉴权方式不同，请求体和返回体略有差异。
表1NLP大模型推理API清单 
| API分类  | API访问路径（URI）                                                  |
|:---|:---|
| V1推理接口 | /v1/{project_id}/deployments/{deployment_id}/chat/completions |
| V2推理接口 | /api/v2/chat/completions                                      |
   
 #### 获取调用路径
1. 登录ModelArts Studio大模型开发平台，在"我的空间"模块，单击进入所需空间。
   图1我的空间   
   ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601725911.png) 
2. 获取调用路径。
   在左侧导航栏中选择"模型开发 \> 模型部署"。
   - 获取已部署模型的调用路径。在"我的服务"页签，单击状态为"运行中"的模型名称，在"API调用"页签，可获取模型调用路径，并根据页签的调用方法进行调用，如[图2]。
     图2获取已部署模型的调用路径v2
     ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571046746.png)
     
   
   
   
   - 获取预置服务的调用路径。在"预置服务"页签中，选择所需调用的NLP大模型，单击"调用路径"，在"调用路径"弹窗可获取模型调用路径，如[图3]。
     图3获取预置服务的调用路径   
     ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571206396.png)
     获取边缘部署模型的调用路径。在"我的服务"页签，单击状态为"运行中"的模型名称，在"详情"页签，可获取模型调用路径。
     负载均衡方式：
     模型路径为http://{ELB IP}:{ELB负载端口}/{API URL}/{推理的调用URL}， ELB IP需获取对应的公网IP，各个部分的获取如图所示：
     ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601605939.png)
     节点方式：
     模型路径为http://{节点所在的IP}:{主机端口}/{推理的调用URL}，节点所在IP为边缘池的工作节点的IP，各个部分的获取如图所示：
     ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002571046756.png)
     
     
 
#### 使用Postman调用API
1. 在Postman中新建POST请求，并填入模型调用路径，详见[获取调用路径]。
2. 调用API有两种认证方式，包括Token认证和API Key认证。其中，API Key认证的使用场景为当用户部署的API服务期望开放给其他用户调用时，原有Token认证无法支持，可通过API Key认证调用请求。
   参考[表2]填写请求Header参数。
    表2请求Header参数填写说明 
   | 认证方式            | 参数名            | 参数值                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
   |:---|:---|:---|
   | Token认证         | Content-Type   | application/json                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
   | Token认证         | X-Auth-Token   | Token值，参考《API参考》文档"如何调用REST API \> 认证鉴权 \> Token认证"章节获取Token。                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
   | V1推理接口API Key认证 | Content-Type   | application/json                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
   | V1推理接口API Key认证 | X-Apig-AppCode | API Key值，获取API Key步骤如下： 1. 登录ModelArts Studio平台，进入所需空间。  2. 在左侧导航栏中选择"系统管理与统计 \> 应用接入"，单击界面右上角"创建应用接入"。  3. 在"应用配置"中，选择已部署好的大模型，单击"确定"。  4. 在"应用接入"列表的"API Key"操作列中可获取API Key值。   |
   | V2推理接口API Key认证 | Content-Type   | application/json                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
   | V2推理接口API Key认证 | Authorization  | 用户创建应用接入获取的API Key，拼接"Bearer "后的字符串。示例：Bearer d59\*\*\*\*\*\*9C3                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
      
   如[图4]，为Token认证方式的请求Header参数填写示例。
   图4配置请求参数   
   ![](https://support.huaweicloud.com/usermanual-pangulm/zh-cn_image_0000002601725905.png) 
3. 在Postman中选择"Body \> raw"选项，参考以下代码填写请求Body。
   ```
   {
       "messages": [
         {
             "content": "介绍下长江，以及长江中典型的鱼类"
          }
         ],
       "temperature": 0.9,
       "max_tokens": 600
   }
   ```
   ![](https://support.huaweicloud.com/usermanual-pangulm/public_sys-resources/notice_3.0-zh-cn.png)
   盘古新增加了快慢思考融合模型（具体判断标准请参见[NLP大模型训练流程与选择建议](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0168.html)中关于快慢思考模型的说明），这类模型默认为慢思考模式。调用这类模型时，默认会输出思考过程，增加推理耗时。请您在选用这类模型做推理时，务必考虑耗时影响。使用API调用的场景，务必做好接口超时的异常处理。对于这类模型，在Prompt最后添加"/no_think"标签可切换为快思考模型。示例如下：
   ```
   {
       "messages": [
         {
             "content": "介绍下长江，以及长江中典型的鱼类/no_think"
          }
         ],
       "temperature": 0.9,
       "max_tokens": 600
   }
   ```
   
4. 单击Postman界面"Send"，发送请求。当接口返回状态码为200时，表示NLP大模型API调用成功。
 
#### API Key鉴权说明
当用户部署的推理服务需要开放给其他用户调用时，原有Token认证无法支持，可用API Key认证的鉴权方式进行调用请求。
API Key认证指调用API时，在HTTP请求头部消息增加一个参数X-Apig-AppCode（参数值为API Key值），API服务仅校验API Key，从而实现快速响应。
**获取API Key步骤如下：**
1. 登录ModelArts Studio平台，进入所需空间。
2. 在左侧导航栏中选择"系统管理与统计 \> 应用接入"，单击界面右上角"创建应用接入"。
3. 在"关联服务"中，选择全部服务或者指定已部署好的推理服务，并设置应用接入名称、描述，单击"确定"。
4. 在"应用接入"列表的"API Key"列中可获取API Key值。