训练轮数是指需要完成全量训练数据集训练的次数。训练轮数越大，模型学习数据的迭代步数就越多，可以学得更深入，但过高会导致过拟合；训练轮数越小，模型学习数据的迭代步数就越少，过低则会导致欠拟合。 您可根据任务难度和数据规模进行调整。一般来说，如果目标任务的难度较大或数据量级很小，可以使

查看更多 →

制防止过拟合。默认0。 L2正则项系数 叠加在模型的2范数之上，用来对模型值进行限制防止过拟合。默认0。 正则损失计算方式 正则损失计算当前有两种方式。 full：指针对全量参数计算。 batch：则仅针对当前批数据中出现的参数计算 说明： batch模式计算速度快于full模式。

查看更多 →

加数据，训练效果并不明显。 降低正则化约束。 正则化约束是为了防止模型过拟合，如果模型压根不存在过拟合而是欠拟合了，那么就考虑是否降低正则化参数λ或者直接去除正则化项。 父主题： 功能咨询

查看更多 →

止模型过拟合。这个值越大，删除的路径越多，模型的正则化效果越强，但同时也可能会降低模型的拟合能力。取值范围：[0，1）。 特征删除概率 用于定义特征删除机制中的删除概率。特征删除（也称为特征丢弃）是另一种正则化技术，它在训练过程中随机删除一部分的输入特征，以防止模型过拟合。这个值

查看更多 →

制防止过拟合。默认0。 L2正则项系数 叠加在模型的2范数之上，用来对模型值进行限制防止过拟合。默认0。 正则损失计算方式 正则损失计算当前有两种方式。 full：指针对全量参数计算。 batch：则仅针对当前批数据中出现的参数计算 说明： batch模式计算速度快于full模式。

查看更多 →

保持或接近模型的最佳性能。 过拟合 过拟合是指为了得到一致假设而使假设变得过度严格，会导致模型产生“以偏概全”的现象，导致模型泛化效果变差。 欠拟合 欠拟合是指模型拟合程度不高，数据距离拟合曲线较远，或指模型没有很好地捕捉到数据特征，不能够很好地拟合数据。 损失函数 损失函数（Loss

查看更多 →

各个模型深度学习训练加速框架的选择 LlamaFactory框架使用两种训练框架： DeepSpeed和Accelerate都是针对深度学习训练加速的工具，但是它们的实现方式和应用场景有所不同。 DeepSpeed是一种深度学习加速框架，主要针对大规模模型和大规模数据集的训练。De

查看更多 →

训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。 数据质量：请检查训练数据的质量，若训练样本出现了大量重复数据，或者数据多样性很差，则会加剧该现象。

查看更多 →

数据质量：请检查训练数据中是否存在文本重复的异常数据，可以通过规则进行清洗。 训练参数设置：若数据质量存在问题，且因训练参数设置的不合理而导致过拟合，该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。 父主题： 大模型微调训练类问题

查看更多 →

这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，根据实际情况调整训练参数，帮助模型更好学习。 Prompt设

查看更多 →

数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。 训练参数设置：若数据质量存在问题，且因训练参数设置的不合理而导致过拟合，该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。 推理参数设

查看更多 →

深度学习模型预测 深度学习已经广泛应用于图像分类、图像识别和 语音识别 等不同领域， DLI 服务中提供了若干函数实现加载深度学习模型并进行预测的能力。 目前可支持的模型包括DeepLearning4j 模型和Keras模型。由于Keras它能够以 TensorFlow、CNTK或者 Theano

查看更多 →

深度学习模型预测 深度学习已经广泛应用于图像分类、图像识别和语音识别等不同领域，DLI服务中提供了若干函数实现加载深度学习模型并进行预测的能力。 目前可支持的模型包括DeepLearning4j 模型和Keras模型。由于Keras它能够以 TensorFlow、CNTK或者 Theano

查看更多 →

域都会学习一个隐向量，能够达到更高的精度，但也更容易出现过拟合。FFM算法参数请参见域感知因子分解机。 深度网络因子分解机，结合了因子分解机和深度神经网络对于特征表达的学习，同时学习高阶和低阶特征组合，从而达到准确地特征组合学习，进行精准推荐。DEEPFM算法参数请参见深度网络因子分解机。

查看更多 →

超参数调优：选择合适的学习率、批次大小等超参数，确保模型在训练过程中能够快速收敛并取得良好的性能。 开发阶段的关键是平衡模型的复杂度和计算资源，避免过拟合，同时保证模型能够在实际应用中提供准确的预测结果。 应用与部署：当大模型训练完成并通过验证后，进入应用阶段。主要包括以下几个方面： 模型

查看更多 →

decay）的机制，可以有效地防止过拟合（overfitting）的问题。 学习率衰减比率 学习率衰减后的比率，用于控制训练过程中学习率的下降幅度。经过衰减后，学习率的最低值由初始学习率和衰减比率决定。其计算公式为：最低学习率 = 初始学习率 * 学习率衰减比率。也就是说，学习率在每次衰减后不会低于这个计算出来的最低值。

查看更多 →

如何评估微调后的盘古大模型是否正常 评估模型效果的方法有很多，通常可以从以下几个方面来评估模型训练效果： Loss曲线：通过Loss曲线的变化趋势来评估训练效果，确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测试集进

查看更多 →

整数。 分类阈值 区分正负例的得分阈值。 逻辑回归/FiBiNET 学习率 控制权重更新的幅度，影响训练收敛速度和模型精度，取值范围为0~1。 迭代次数 完成全部样本训练的次数，取值为正整数。 批大小 单次训练使用的样本数，取值为正整数。 分类阈值 区分正负例的得分阈值 自定义配置：

查看更多 →

num_train_epochs 训练epoch数 优化算法在完整训练数据集上的工作轮数。 learning_rate 学习率 学习率是每一次迭代中梯度向损失函数最优解移动的步长。 weight_decay 权重衰减因子 对模型参数进行正则化的一种因子，可以缓解模型过拟合现象。 warmup_ratio

查看更多 →

，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合，模型没有学到任何知识。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当增大“训练轮次”的值，或根据实际情况调整“学习率”的值，帮助模型更好收敛。 数据质量：请检查训练数据的质量，若训练样本和目标任务不一致或者分布差异较大，则会加剧该现象。

查看更多 →

整数。 分类阈值 区分正负例的得分阈值。 逻辑回归/FiBiNET 学习率 控制权重更新的幅度，影响训练收敛速度和模型精度，取值范围为0~1。 迭代次数 完成全部样本训练的次数，取值为正整数。 批大小 单次训练使用的样本数，取值为正整数。 分类阈值 区分正负例的得分阈值 自定义配置：

查看更多 →