文档首页/ 盘古大模型 PanguLargeModels/ 快速入门/ 使用盘古预置NLP大模型进行文本对话
更新时间:2025-01-05 GMT+08:00
分享

使用盘古预置NLP大模型进行文本对话

场景描述

此示例演示了如何使用盘古预置NLP大模型进行对话问答,包含两种方式:使用“能力调测”功能和调用API接口。

您将学习如何使用“能力调测”功能调试模型超参数、如何调用盘古NLP大模型API以实现智能化对话问答能力。

准备工作

请确保您有预置的NLP大模型,并已完成模型的部署操作,详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。

“能力调测”功能支持用户直接调用已部署的预置服务,使用步骤如下:

  1. 登录ModelArts Studio大模型开发平台,进入所需空间。
  2. 单击左侧“能力调测”,进入“文本对话”页签,选择服务与系统人设,参数设置为默认参数,在输入框输入问题,单击“生成”,模型将基于问题进行回答。
    图1 使用预置服务进行文本对话
  3. 可以尝试修改参数并查看模型效果。以修改“核采样”参数为例,核采样控制生成文本的多样性和质量:
    1. 当“核采样”参数设置为1时,保持其他参数不变,单击“重新生成”,再单击“重新生成”,观察模型前后两次回复内容的多样性。
      图2 “核采样”参数为1的生成结果1
      图3 “核采样”参数为1的生成结果2
    2. 将“核采样”参数调小至0.1,保持其他参数不变,单击“重新生成”,再单击“重新生成”,可以观察到模型前后两次回复内容的多样性降低。
      图4 “核采样”参数为0.1的生成结果1
      图5 “核采样”参数为0.1的生成结果2

预置模型部署成功后,可以通过“文本对话”API调用NLP大模型,调用步骤如下:

  1. 登录ModelArts Studio大模型开发平台,进入所需空间。
  2. 获取调用路径。单击左侧“模型开发 > 模型部署”,选择所需调用的NLP大模型,单击“调用路径”,在“调用路径”弹窗获取调用路径。
    图6 获取调用路径
  3. 获取项目ID。在页面右上角“我的凭证”,在“API凭证”页面可获取项目ID。
    图7 获取项目ID
  4. 获取Token。参考《API参考》文档“如何调用REST API认证鉴权”章节获取Token。
  5. 在Postman中新建POST请求,并填入调用路径(API请求地址)。
  6. 参考图8填写2个请求Header参数。
    • 参数名为Content-Type,参数值为application/json。
    • 参数名为X-Auth-Token,参数值为获取的Token值。
      图8 填写NLP大模型API
  7. 在Postman中选择“Body > raw”选项,参考以下代码填写请求Body。
    {
        "messages": [
          {
              "content": "介绍下长江,以及长江中典型的鱼类"
           }
          ],
        "temperature": 0.9,
        "max_tokens": 600
    }
  8. 单击Postman界面“Send”按钮,发送请求。当接口返回状态为200时,表示NLP大模型API调用成功。

相关文档