使用API调用三方大模型

获取调用路径

1. 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
   图1 我的空间
   
2. 获取调用路径。
   在左侧导航栏中选择“模型开发 > 模型部署”。

   • 获取已部署模型的调用路径。在“我的服务”页签，单击状态为“运行中”的模型名称，在“API调用”页签，可获取模型调用路径，并根据页签的调用方法进行调用，如图2。
     图2 获取已部署模型的调用路径

     

   • 获取预置服务的调用路径。在“预置服务”页签中，选择所需调用的NLP大模型，单击“调用路径”，在“调用路径”弹窗可获取模型调用路径，如图3。
     图3 获取预置服务的调用路径
     

     获取边缘部署模型的调用路径。在“我的服务”页签，单击状态为“运行中”的模型名称，在“详情”页签，可获取模型调用路径。

     负载均衡方式：

     模型路径为http://{ELB IP}:{ELB负载端口}/{API URL}/{推理的调用URL}， ELP IP需获取对应的公网IP，各个部分的获取如图所示：

     

     节点方式：

     模型路径为http://{节点所在的IP}:{主机端口}/{推理的调用URL}，节点所在IP为边缘池的工作节点的IP，各个部分的获取如图所示：

     

使用Postman调用API

1. 在Postman中新建POST请求，并填入模型调用路径，详见获取调用路径。
2. 调用API有两种认证方式，包括Token认证和API Key认证。其中，API Key认证的使用场景为当用户部署的API服务期望开放给其他用户调用时，原有Token认证无法支持，可通过API Key认证调用请求。
   参考表2填写请求Header参数。

   表2 请求Header参数填写说明

   认证方式	参数名	参数值
   Token认证	Content-Type	application/json
   	X-Auth-Token	Token值，参考《API参考》文档“如何调用REST API > 认证鉴权 > Token认证”章节获取Token。
   V1推理接口API Key认证	Content-Type	application/json
   	X-Apig-AppCode	API Key值，获取API Key步骤如下： 登录ModelArts Studio平台，进入所需空间。 在左侧导航栏中选择“系统管理与统计 > 应用接入”，单击界面右上角“创建应用接入”。 在“应用配置”中，选择已部署好的大模型，单击“确定”。 在“应用接入”列表的“API Key”操作列中可获取API Key值。
   V2推理接口API Key认证	Content-Type	application/json
   	Authorization	用户创建应用接入获取的API Key，拼接“Bearer ”后的字符串。示例：Bearer d59******9C3

   如图4，为Token认证方式的请求Header参数填写示例。

   图4 配置请求参数
   
3. 在Postman中选择“Body > raw”选项，参考以下代码填写请求Body。

   {
       "messages": [
         {
             "content": "介绍下长江，以及长江中典型的鱼类"
          }
         ],
       "temperature": 0.9,
       "max_tokens": 600
   }

4. 单击Postman界面“Send”，发送请求。当接口返回状态为200时，表示NLP大模型API调用成功。

API Key鉴权说明

当用户部署的推理服务需要开放给其他用户调用时，原有Token认证无法支持，可用API Key认证的鉴权方式进行调用请求。

API Key认证指调用API时，在HTTP请求头部消息增加一个参数X-Apig-AppCode（参数值为API Key值），API服务仅校验API Key，从而实现快速响应。

获取API Key步骤如下：

1. 登录ModelArts Studio平台，进入所需空间。
2. 在左侧导航栏中选择“系统管理与统计 > 应用接入”，单击界面右上角“创建应用接入”。
3. 在“关联服务”中，选择全部服务或者指定已部署好的推理服务，并设置应用接入名称、描述，单击“确定”。
4. 在“应用接入”列表的“API Key”列中可获取API Key值。