# 如何调整训练参数，使盘古大模型效果最优
模型微调参数的选择没有标准答案，不同的场景，有不同的调整策略。一般微调参数的影响会受到以下几个因素的影响：
- **目标任务的难度：**如果目标任务的难度较低，模型能较容易地学习知识，那么少量的训练轮数就能达到较好的效果。反之，若任务较复杂，那么可能就需要更多的训练轮数。
- **数据量级：**如果微调数据很多，从客观上来说越多的数据越能接近真实分布，那么可以使用较大的学习率和较大的批量大小，以提高训练效率。如果微调数据量相对较少，则可以使用较小的学习率和较小的数据批量大小，避免过拟合。
- **通用模型的规格：**如果模型参数规模较小，那么可能需要较大的学习率和较大的批量大小，以提高训练效率。如果规模较大，那么可能需要较小的学习率和较小的批量大小，防止内存溢出。
这里提供了一些微调参数的建议值和说明，供您参考：
表1微调参数的建议和说明 
| **训练参数**                           | **范围** | **建议** **值** | **说明**                                                                                                                                                                                                                                                                                                                    |
|:---|:---|:---|:---|
| 训练轮数（epoch）                        | 1\~50  | 2/4/8/10     | 训练轮数是指需要完成全量训练数据集训练的次数。训练轮数越大，模型学习数据的迭代步数就越多，可以学得更深入，但过高会导致过拟合；训练轮数越小，模型学习数据的迭代步数就越少，过低则会导致欠拟合。 您可根据任务难度和数据规模进行调整。一般来说，如果目标任务的难度较大或数据量级很小，可以使用较大的训练轮数，反之可以使用较小的训练轮数。 如果您没有专业的调优经验，可以优先使用平台提供的默认值，再结合训练过程中模型的收敛情况动态调整。                                   |
| 数据批量大小（batch_size）                 | \>=1   | 4/8          | 数据批量大小是指对数据集进行分批读取训练时，所设定的每个批次数据大小。批量大小越大，训练速度越快，但是也会占用更多的内存资源，并且可能导致收敛困难或者过拟合；批量大小越小，内存消耗越小，但是收敛速度会变慢，同时模型更容易受到数据噪声的影响，从而导致模型收敛困难。 您可根据数据和模型的规模进行调整。一般来说，如果数据量级很小或模型参数规模很大，可以使用较小的批量大小，反之可以使用较大的批量大小。 如果您没有专业的调优经验，可以优先使用平台提供的默认值，再结合训练过程中的实际情况动态调整。 |
| 学习率（learning_rate）                 | 0\~1   | 1e-6\~5e-4   | 学习率是在梯度下降的过程中更新权重时的超参数，过高会导致模型在最优解附近震荡，甚至跳过最优解，无法收敛，过低则会导致模型收敛速度过慢。 您可根据数据和模型的规模进行调整。一般来说，如果数据量级很小或模型参数规模很大，可以使用较小的学习率，反之可以使用较大的学习率。 如果您没有专业的调优经验，可以优先使用平台提供的默认值，再结合训练过程中模型的收敛情况动态调整。                                                                   |
| 学习率衰减比率（learning_rate_decay_ratio） | 0\~1   | 0.01\~0.1    | 学习率衰减比率用于设置训练过程中的学习率衰减的最小值。计算公式为：最小学习率=学习率\*学习率衰减比率。                                                                                                                                                                                                                                                                      |
   
![](https://support.huaweicloud.com/pangulm_faq/public_sys-resources/note_3.0-zh-cn.png)
参数的选择没有标准答案，您需要根据任务的实际情况进行调整，以上建议值仅供参考。