盘古大模型 PanguLargeModels
盘古大模型 PanguLargeModels
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
- 用户指南
- 最佳实践
- API参考
- SDK参考
-
常见问题
- 高频常见问题
- 大模型概念类
-
大模型微调训练类
- 无监督领域知识数据量无法支持增量预训练，如何进行模型学习
- 如何调整训练参数，使盘古大模型效果最优
- 如何判断盘古大模型训练状态是否正常
- 如何评估微调后的盘古大模型是否正常
- 如何调整推理参数，使盘古大模型效果最优
- 为什么微调后的盘古大模型总是重复相同的回答
- 为什么微调后的盘古大模型的回答中会出现乱码
- 为什么微调后的盘古大模型的回答会异常中断
- 为什么微调后的盘古大模型只能回答训练样本中的问题
- 为什么在微调后的盘古大模型中输入训练样本问题，回答完全不同
- 为什么微调后的盘古大模型评估结果很好，但实际场景表现很差
- 为什么多轮问答场景的盘古大模型微调效果不好
- 数据量足够，为什么盘古大模型微调效果仍然不好
- 数据量和质量均满足要求，为什么盘古大模型微调效果不好
- 大模型使用类
- 提示词工程类
- 文档下载
- 通用参考
链接复制成功！
使用盘古预置NLP大模型进行文本对话
场景描述
此示例演示了如何使用盘古预置NLP大模型进行对话问答，包含两种方式：使用“能力调测”功能和调用API接口。
您将学习如何使用“能力调测”功能调试模型超参数、如何调用盘古NLP大模型API以实现智能化对话问答能力。
准备工作
请确保您有预置的NLP大模型，并已完成模型的部署操作，详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。
“能力调测”功能支持用户直接调用已部署的预置服务，使用步骤如下：
- 登录ModelArts Studio大模型开发平台，进入所需空间。
- 单击左侧“能力调测”，进入“文本对话”页签，选择服务与系统人设，参数设置为默认参数，在输入框输入问题，单击“生成”，模型将基于问题进行回答。
图1 使用预置服务进行文本对话
- 可以尝试修改参数并查看模型效果。以修改“核采样”参数为例，核采样控制生成文本的多样性和质量：
- 当“核采样”参数设置为1时，保持其他参数不变，单击“重新生成”，再单击“重新生成”，观察模型前后两次回复内容的多样性。
图2 “核采样”参数为1的生成结果1
图3 “核采样”参数为1的生成结果2
- 将“核采样”参数调小至0.1，保持其他参数不变，单击“重新生成”，再单击“重新生成”，可以观察到模型前后两次回复内容的多样性降低。
图4 “核采样”参数为0.1的生成结果1
图5 “核采样”参数为0.1的生成结果2
- 当“核采样”参数设置为1时，保持其他参数不变，单击“重新生成”，再单击“重新生成”，观察模型前后两次回复内容的多样性。
预置模型部署成功后，可以通过“文本对话”API调用NLP大模型，调用步骤如下：
- 登录ModelArts Studio大模型开发平台，进入所需空间。
- 获取调用路径。单击左侧“模型开发 > 模型部署”，在“预置服务”页签，选择所需调用的NLP大模型，单击“调用路径”，在“调用路径”弹窗获取调用路径。
图6 获取调用路径
- 获取项目ID。在页面右上角“我的凭证”，在“API凭证”页面可获取项目ID。
图7 获取项目ID
- 获取Token。参考《API参考》文档“如何调用REST API认证鉴权”章节获取Token。
- 在Postman中新建POST请求，并填入调用路径（API请求地址）。
- 参考图8填写2个请求Header参数。
- 参数名为Content-Type，参数值为application/json。
- 参数名为X-Auth-Token，参数值为获取的Token值。
- 在Postman中选择“Body > raw”选项，参考以下代码填写请求Body。
{ "messages": [ { "content": "介绍下长江，以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 } - 单击Postman界面“Send”按钮，发送请求。当接口返回状态为200时，表示NLP大模型API调用成功。
“能力调测”功能支持用户直接调用已部署的预置服务，使用步骤如下：
- 登录ModelArts Studio大模型开发平台，进入所需空间。
- 单击左侧“能力调测”，进入“文本对话”页签，选择服务与系统人设，参数设置为默认参数，在输入框输入问题，单击“生成”，模型将基于问题进行回答。
图1 使用预置服务进行文本对话
- 可以尝试修改参数并查看模型效果。以修改“核采样”参数为例，核采样控制生成文本的多样性和质量：
- 当“核采样”参数设置为1时，保持其他参数不变，单击“重新生成”，再单击“重新生成”，观察模型前后两次回复内容的多样性。
图2 “核采样”参数为1的生成结果1
图3 “核采样”参数为1的生成结果2
- 将“核采样”参数调小至0.1，保持其他参数不变，单击“重新生成”，再单击“重新生成”，可以观察到模型前后两次回复内容的多样性降低。
图4 “核采样”参数为0.1的生成结果1
图5 “核采样”参数为0.1的生成结果2
- 当“核采样”参数设置为1时，保持其他参数不变，单击“重新生成”，再单击“重新生成”，观察模型前后两次回复内容的多样性。
预置模型部署成功后，可以通过“文本对话”API调用NLP大模型，调用步骤如下：
- 登录ModelArts Studio大模型开发平台，进入所需空间。
- 获取调用路径。单击左侧“模型开发 > 模型部署”，在“预置服务”页签，选择所需调用的NLP大模型，单击“调用路径”，在“调用路径”弹窗获取调用路径。
图6 获取调用路径
- 获取项目ID。在页面右上角“我的凭证”，在“API凭证”页面可获取项目ID。
图7 获取项目ID
- 获取Token。参考《API参考》文档“如何调用REST API认证鉴权”章节获取Token。
- 在Postman中新建POST请求，并填入调用路径（API请求地址）。
- 参考图8填写2个请求Header参数。
- 参数名为Content-Type，参数值为application/json。
- 参数名为X-Auth-Token，参数值为获取的Token值。
- 在Postman中选择“Body > raw”选项，参考以下代码填写请求Body。
{ "messages": [ { "content": "介绍下长江，以及长江中典型的鱼类" } ], "temperature": 0.9, "max_tokens": 600 } - 单击Postman界面“Send”按钮，发送请求。当接口返回状态为200时，表示NLP大模型API调用成功。
