# 如何调整推理参数，使盘古大模型效果最优
推理参数（解码参数）是一组用于控制模型生成预测结果的参数，其可以用于控制模型生成结果的样式，如长度、随机性、创造性、多样性、准确性和丰富度等等。
当前，平台支持的推理参数包括：温度、核采样以及话题重复度控制，如下提供了这些推理参数的建议值和说明，供您参考：
表1推理参数的建议和说明 
| **推理** **参数**             | **范围** | **建议** **值** | **说明**                                                                                                                                                                                                                                                                                                                                                   |
|:---|:---|:---|:---|
| 温度（temperature）           | 0\~1   | 0.3          | 温度主要用于控制模型输出的随机性和创造性。温度越高，输出的随机性和创造性越高；温度越低，输出结果越可以被预测，确定性相对也就越高。 您可根据真实的任务类型进行调整。一般来说，如果目标任务的需要生成更具创造性的内容，可以使用较高的温度，反之如果目标任务的需要生成更为确定的内容，可以使用较低的温度。 请注意，温度和核采样的作用相近，在实际使用中，为了更好观察是哪个参数对结果造成的影响，因此不建议同时调整这两个参数。 如果您没有专业的调优经验，可以优先使用建议，再结合推理的效果动态调整。 |
| 核采样（top_p）                | 0\~1   | 1            | 核采样主要用于控制模型输出的多样性。核采样值越大，输出的多样性越高；核采样值越小，输出结果越可以被预测，确定性相对也就越高。 您可根据真实的任务类型进行调整。一般来说，如果目标任务的需要生成更具多样性的内容，可以使用较大的核采样，反之如果目标任务的需要生成更为确定的内容，可以使用较小的核采样。 请注意，温度和核采样的作用相近，在实际使用中，为了更好观察是哪个参数对结果造成的影响，因此不建议同时调整这两个参数。 如果您没有专业的调优经验，可以优先使用建议，再结合推理的效果动态调整。      |
| 话题重复度控制（presence_penalty） | -2\~2  | 0            | 话题重复度控制主要用于控制模型输出的话题重复程度。 参数设置正值，模型倾向于生成新的、未出现过的内容；参数设置负值，倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验，可以优先使用建议，再结合推理的效果动态调整。                                                                                                                                                                                                          |
   
为了让您更好地理解这几个参数的作用，如下列举了一些常见场景，以及对应的调参指导，供您参考：
- **文本生成：**对于文本生成场景（宣传文案生成、信稿文本生成、文学创作等），通常希望生成的文本有一点的多样性，建议在保证不过于随机的基础上，增大"温度"或"核采样"的值（二者选其一调整）。若发现生成的文本过于发散，可以降低"话题重复度控制"的值，保证内容统一；反之若发现内容过于单一，甚至出现了复读机式的重复内容生成，则需要增加"话题重复度控制"的值。
- **知识问答：**对于文本生成场景（开放问答、基于搜索内容回答等），从客观上来说，回答需要是确定且唯一的，建议降低"温度"或"核采样"的值（二者选其一调整）。若需要每次生成完全相同的回答，可以将"温度"置为0。
![](https://support.huaweicloud.com/pangulm_faq/public_sys-resources/note_3.0-zh-cn.png)
参数的选择没有标准答案，您需要根据任务的实际情况进行调整，以上建议值仅供参考。