使用盘古预置NLP大模型进行文本对话
场景描述
此示例演示了如何使用盘古预置NLP大模型进行对话问答,包含两种方式:使用“能力调测”功能和调用API接口。
您将学习如何使用“能力调测”功能调试模型超参数、如何调用盘古NLP大模型API以实现智能化对话问答能力。
准备工作
请确保您有预置的NLP大模型,并已完成模型的部署操作,详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。
“能力调测”功能支持用户直接调用已部署的预置服务,使用步骤如下:
- 登录ModelArts Studio大模型开发平台,进入所需空间。
- 单击左侧“能力调测”,进入“文本对话”页签,选择服务与系统人设,参数设置为默认参数,在输入框输入问题,单击“生成”,模型将基于问题进行回答。
图1 使用预置服务进行文本对话
- 可以尝试修改参数并查看模型效果。以修改“核采样”参数为例,核采样控制生成文本的多样性和质量:
- 当“核采样”参数设置为1时,保持其他参数不变,单击“重新生成”,再单击“重新生成”,观察模型前后两次回复内容的多样性。
图2 “核采样”参数为1的生成结果1图3 “核采样”参数为1的生成结果2
- 将“核采样”参数调小至0.1,保持其他参数不变,单击“重新生成”,再单击“重新生成”,可以观察到模型前后两次回复内容的多样性降低。
图4 “核采样”参数为0.1的生成结果1图5 “核采样”参数为0.1的生成结果2
- 当“核采样”参数设置为1时,保持其他参数不变,单击“重新生成”,再单击“重新生成”,观察模型前后两次回复内容的多样性。
预置模型部署成功后,可以通过“文本对话”API调用NLP大模型,调用步骤如下:
- 登录ModelArts Studio大模型开发平台,进入所需空间。
- 获取调用路径。单击左侧“模型开发 > 模型部署”,选择所需调用的NLP大模型,单击“调用路径”,在“调用路径”弹窗获取调用路径。
图6 获取调用路径
- 获取项目ID。在页面右上角“我的凭证”,在“API凭证”页面可获取项目ID。
图7 获取项目ID
- 获取Token。参考《API参考》文档“如何调用REST API认证鉴权”章节获取Token。
- 在Postman中新建POST请求,并填入调用路径(API请求地址)。
- 参考图8填写2个请求Header参数。
- 参数名为Content-Type,参数值为application/json。
- 参数名为X-Auth-Token,参数值为获取的Token值。
- 在Postman中选择“Body > raw”选项,参考以下代码填写请求Body。
{ "messages": [ { "content": "介绍下长江,以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 }
- 单击Postman界面“Send”按钮,发送请求。当接口返回状态为200时,表示NLP大模型API调用成功。