优化推理超参数
参数优化
推理参数（解码参数）是一组用于控制模型生成预测结果的参数，其可以用于控制模型生成结果的样式，比如长度、随机性、创造性、多样性、准确性、丰富度等等。
当前，平台支持的推理参数包括：温度、核采样以及话题重复度控制，表1提供了典型推理参数的建议值和说明，供您参考：
|
推理参数 |
范围 |
建议值 |
说明 |
|---|---|---|---|
|
温度（temperature） |
0~1 |
0.3 |
温度主要用于控制模型输出的随机性和创造性。温度越高，输出的随机性和创造性越高；温度越低，输出结果越可以被预测，确定性相对也就越高。 您可根据真实的任务类型进行调整。一般来说，如果目标任务的需要生成更具创造性的内容，可以使用较高的温度，反之如果目标任务的需要生成更为确定的内容，可以使用较低的温度。 请注意，温度和核采样的作用相近，在实际使用中，为了更好观察是哪个参数对结果造成的影响，不建议同时调整这两个参数。 如果您没有专业的调优经验，可以优先使用建议，再结合推理的效果动态调整。 |
|
核采样（top_p） |
0~1 |
1 |
核采样主要用于控制模型输出的多样性。核采样值越大，输出的多样性越高；核采样值越小，输出结果越可以被预测，确定性相对也就越高。 您可根据真实的任务类型进行调整。一般来说，如果目标任务的需要生成更具多样性的内容，可以使用较大的核采样，反之如果目标任务的需要生成更为确定的内容，可以使用较小的核采样。 请注意，温度和核采样的作用相近，在实际使用中，为了更好观察是哪个参数对结果造成的影响，因此不建议同时调整这两个参数。 如果您没有专业的调优经验，可以优先使用建议，再结合推理的效果动态调整。 |
|
话题重复度控制（presence_penalty） |
-2~2 |
0 |
话题重复度控制主要用于控制模型输出的话题重复程度。参数设置正值，模型倾向于生成新的、未出现过的内容；参数设置负值，倾向于生成更加固定和统一的内容。 如果您没有专业的调优经验，可以优先使用建议，再结合推理的效果动态调整。 |
场景示例
为了更好地理解这几个参数的作用，下面列举了一些常见场景：
- 文本生成：对于文本生成场景（宣传文案生成、信稿文本生成、文学创作等），通常希望生成的文本具有多样性，建议在保证不过于随机的基础上，增大“温度”或“核采样”的值（二者选其一调整）。若发现生成的文本过于发散，可以降低“话题重复度控制”的值，保证内容统一；反之，若发现内容过于单一，甚至出现了复读机式的重复内容生成，则需要增加“话题重复度控制”的值。
- 知识问答：对于文本生成场景（开放问答、基于搜索内容回答等），从客观上来说，回答需要是确定且唯一的，建议降低“温度”或“核采样”的值（二者选其一调整）。若需要每次生成完全相同的回答，可以将“温度”置为0。
如表2，根据文案生成N个爆款标题场景中出现标题重复，可以适当调整“话题重复度控制”值。
|
提示词 |
话题重复度控制（presence_penalty） |
模型回答 |
|---|---|---|
|
你是一个短视频博主，现在有一篇视频文案内容如下“熊爪面包，松松软软贼好吃”请结合以上内容，生成15个爆款标题，标题要求尽量概括文案中关键信息，引发读者好奇心，要求每条标题在15字左右。 |
0.0 |
|
|
你是一个短视频博主，现在有一篇视频文案内容如下“熊爪面包，松松软软贼好吃”请结合以上内容，生成15个爆款标题，标题要求尽量概括文案中关键信息，引发读者好奇心，要求每条标题在15字左右。 |
0.5 |
|
参数的选择没有标准答案，您需要根据任务的实际情况进行调整，以上建议值仅供参考。
