- 功能总览
- 产品介绍
- 计费说明
- 快速入门
- 用户指南
- 最佳实践
- API参考
- SDK参考
-
常见问题
- 高频常见问题
- 大模型概念类
-
大模型微调训练类
- 无监督领域知识数据量无法支持增量预训练，如何进行模型学习
- 如何调整训练参数，使盘古大模型效果最优
- 如何判断盘古大模型训练状态是否正常
- 如何评估微调后的盘古大模型是否正常
- 如何调整推理参数，使盘古大模型效果最优
- 为什么微调后的盘古大模型总是重复相同的回答
- 为什么微调后的盘古大模型的回答中会出现乱码
- 为什么微调后的盘古大模型的回答会异常中断
- 为什么微调后的盘古大模型只能回答训练样本中的问题
- 为什么在微调后的盘古大模型中输入训练样本问题，回答完全不同
- 为什么微调后的盘古大模型评估结果很好，但实际场景表现很差
- 为什么多轮问答场景的盘古大模型微调效果不好
- 数据量足够，为什么盘古大模型微调效果仍然不好
- 数据量和质量均满足要求，为什么盘古大模型微调效果不好
- 大模型使用类
- 提示词工程类
- 文档下载
- 通用参考
展开导读
链接复制成功！
优化推理超参数
推理参数（解码参数）是一组用于控制模型生成预测结果的参数，其可以用于控制模型生成结果的样式，比如长度、随机性、创造性、多样性、准确性、丰富度等等。
当前，平台支持的推理参数包括：温度、核采样以及话题重复度控制，表1提供了典型推理参数的建议值和说明，供您参考：
|
推理参数 |
范围 |
建议值 |
说明 |
|---|---|---|---|
|
温度（temperature） |
0~1 |
0.3 |
温度主要用于控制模型输出的随机性和创造性。温度越高，输出的随机性和创造性越高；温度越低，输出结果越可以被预测，确定性相对也就越高。 您可根据真实的任务类型进行调整。一般来说，如果目标任务的需要生成更具创造性的内容，可以使用较高的温度，反之如果目标任务的需要生成更为确定的内容，可以使用较低的温度。 请注意，温度和核采样的作用相近，在实际使用中，为了更好观察是哪个参数对结果造成的影响，不建议同时调整这两个参数。 如果您没有专业的调优经验，可以优先使用建议，再结合推理的效果动态调整。 |
|
核采样（top_p） |
0~1 |
1 |
核采样主要用于控制模型输出的多样性。核采样值越大，输出的多样性越高；核采样值越小，输出结果越可以被预测，确定性相对也就越高。 您可根据真实的任务类型进行调整。一般来说，如果目标任务的需要生成更具多样性的内容，可以使用较大的核采样，反之如果目标任务的需要生成更为确定的内容，可以使用较小的核采样。 请注意，温度和核采样的作用相近，在实际使用中，为了更好观察是哪个参数对结果造成的影响，因此不建议同时调整这两个参数。 如果您没有专业的调优经验，可以优先使用建议，再结合推理的效果动态调整。 |
|
话题重复度控制（presence_penalty） |
-2~2 |
0 |
话题重复度控制主要用于控制模型输出的话题重复程度。参数设置正值，模型倾向于生成新的、未出现过的内容；参数设置负值，倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验，可以优先使用建议，再结合推理的效果动态调整。 |
为了更好地理解这几个参数的作用，下面列举了一些常见场景：
- 文本生成：对于文本生成场景（宣传文案生成、信稿文本生成、文学创作等），通常希望生成的文本具有多样性，建议在保证不过于随机的基础上，增大“温度”或“核采样”的值（二者选其一调整）。若发现生成的文本过于发散，可以降低“话题重复度控制”的值，保证内容统一；反之，若发现内容过于单一，甚至出现了复读机式的重复内容生成，则需要增加“话题重复度控制”的值。
- 知识问答：对于文本生成场景（开放问答、基于搜索内容回答等），从客观上来说，回答需要是确定且唯一的，建议降低“温度”或“核采样”的值（二者选其一调整）。若需要每次生成完全相同的回答，可以将“温度”置为0。
如表2，根据文案生成N个爆款标题场景中出现标题重复，可以适当调整“话题重复度控制”值。
|
提示词 |
话题重复度控制（presence_penalty） |
模型回答 |
|---|---|---|
|
你是一个短视频博主，现在有一篇视频文案内容如下“熊爪面包，松松软软贼好吃”请结合以上内容，生成15个爆款标题，标题要求尽量概括文案中关键信息，引发读者好奇心，要求每条标题在15字左右。 |
0.0 |
1.熊爪面包，谁能抵挡的住它的诱惑？ 2.熊爪面包，吃一口就停不下来！ 3.【必看】熊爪面包制作全过程揭秘！ 4.【独家】熊爪面包制作秘籍大公开！ 5.火爆网络的熊爪面包，你一定要尝试！ 6.想吃又不想胖？试试这款熊爪面包吧！ 7.【TOP5】熊爪面包，网红美食首选！ 8.轻松制作熊爪面包，零基础也能学会！ 9.最简单的熊爪面包做法，不容错过！ 10.【限时抢购】火爆的熊爪面包优惠来袭！ 11.你知道吗？熊爪面包竟然有这么多好处！ 12.火爆网络的熊爪面包，你一定要尝试！ 13.想吃又不想胖？试试这款熊爪面包吧！ 14.熊爪面包，火爆销量的保持者！ 15.【TOP5】熊爪面包，网红美食首选！ |
|
你是一个短视频博主，现在有一篇视频文案内容如下“熊爪面包 松松软软贼好吃”请结合以上内容，生成15个爆款标题，标题要求尽量概括文案中关键信息，引发读者好奇心，要求每条标题在15字左右。 |
0.5 |
|
说明：
参数的选择没有标准答案，您需要根据任务的实际情况进行调整，以上建议值仅供参考。
