更新时间:2024-12-03 GMT+08:00
分享

使用API调用NLP大模型

模型部署成功后,可以通过“文本对话”API调用NLP大模型。

表1 NLP大模型API清单

API分类

API访问路径(URI)

文本对话

/v1/{project_id}/deployments/{deployment_id}/chat/completions

  1. 登录ModelArts Studio大模型开发平台,进入所需操作空间。
    图1 进入操作空间
  2. 单击左侧“模型开发 > 模型部署”。
    • 调用已部署的模型。单击状态为“运行中”的模型名称,在“详情”页签,可获取API的URL。
      图2 获取已部署模型的调用路径
    • 调用预置服务。在“预置服务”页签中,选择所需调用的NLP大模型,单击“调用路径”,在“调用路径”弹窗获取调用路径。
      图3 获取预置服务调用路径
  3. 获取Token。参考《API参考》文档“如何调用REST API > 认证鉴权”章节获取Token。
  4. 在Postman中新建POST请求,并填入API请求地址。
  5. 参考图4填写2个请求Header参数。
    • 参数名为Content-Type,参数值为application/json。
    • 参数名为X-Auth-Token,参数值为步骤3中获取的Token值。
      图4 填写NLP大模型API
    在Postman中选择“Body > raw”选项,参考以下代码填写请求Body。
    {
        "messages": [
          {
              "content": "介绍下长江,以及长江中典型的鱼类"
           }
          ],
        "temperature": 0.9,
        "max_tokens": 600
    }
  6. 单击Postman界面“Send”,发送请求。当接口返回状态为200时,表示NLP大模型API调用成功。

相关文档