更新时间:2025-01-05 GMT+08:00
分享

使用API调用NLP大模型

预置模型或训练后的模型部署成功后,可以使用“文本对话”API实现模型调用。

表1 NLP大模型API清单

API分类

API访问路径(URI)

文本对话

/v1/{project_id}/deployments/{deployment_id}/chat/completions

获取调用路径

  1. 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
  2. 获取调用路径。
    在左侧导航栏中选择“模型开发 > 模型部署”。
    • 获取已部署模型的调用路径。在“我的服务”页签,单击状态为“运行中”的模型名称,在“详情”页签,可获取模型调用路径,如图1
      图1 获取已部署模型的调用路径
    • 获取预置服务的调用路径。在“预置服务”页签中,选择所需调用的NLP大模型,单击“调用路径”,在“调用路径”弹窗可获取模型调用路径,如图2
      图2 获取预置服务的调用路径

使用Postman调用API

  1. 在Postman中新建POST请求,并填入模型调用路径,详见获取调用路径
  2. 调用API有两种认证方式,包括Token认证和AppCode认证。其中,AppCode认证的使用场景为当用户部署的API服务期望开放给其他用户调用时,原有Token认证无法支持,可通过AppCode认证调用请求。
    参考表2填写请求Header参数。
    表2 请求Header参数填写说明

    认证方式

    参数名

    参数值

    Token认证

    Content-Type

    application/json

    X-Auth-Token

    Token值,参考《API参考》文档“如何调用REST API > 认证鉴权 > Token认证”章节获取Token。

    AppCode认证

    Content-Type

    application/json

    X-Apig-AppCode

    AppCode值,获取AppCode步骤如下:

    1. 登录ModelArts Studio平台,进入所需空间。
    2. 在左侧导航栏中选择“模型开发 > 应用接入”,单击界面右上角“创建应用接入”。
    3. 在“应用配置”中,选择已部署好的大模型,单击“确定”。
    4. 在“应用接入”列表的“APP Code”操作列中可获取APPCode值。

    图3,为Token认证方式的请求Header参数填写示例。

    图3 配置请求参数
  3. 在Postman中选择“Body > raw”选项,参考以下代码填写请求Body。
    {
        "messages": [
          {
              "content": "介绍下长江,以及长江中典型的鱼类"
           }
          ],
        "temperature": 0.9,
        "max_tokens": 600
    }
  4. 单击Postman界面“Send”,发送请求。当接口返回状态为200时,表示NLP大模型API调用成功。

相关文档