训练入门：一键完成模型训练

创建训练任务时，数据集列表为空。

创建训练任务时，数据集选择框中显示为空，无可用的训练数据集。

数据集未发布。

请提前创建与大模型对应的训练数据集，并完成数据集发布操作。

训练日志提示“root: XXX valid number is 0”

日志提示“root: XXX valid number is 0”，表示训练集/验证集的有效样本量为0，例如：

INFO: root: Train valid number is 0.

该日志表示数据集中的有效样本量为0，可能有如下原因：

• 数据未标注。
• 标注的数据不符合规格。

请检查数据是否已标注或标注是否符合算法要求。

训练日志提示“ValueError: label_map not match”

训练日志中提示“ValueError: label_map not match”，并打印出标签数据，例如：

ValueError: label_map not match. {1:'apple', 2:'orange', 3:'banana', 4:'pear'} & {1:'apple', 2:'orange', 3:'banana'}

训练集中的标签个数与验证集中的个数不一致，导致该错误发生。

例如，训练集中的标签共有4个，验证集中的标签只有3个。

请保持数据中训练集和验证集的标签数量一致。

选择obs桶提示无访问权限。

已手动添加obs相关权限，如obs action（obs:bucket:ListAllMyBuckets），但是还是提示无法访问OBS。

ModelArts训练依赖OBS的委托授权范围不足，需要扩大授权范围。

参见本案例“前提条件”，配置ModelArts FullAccess权限。

LR

学习率是优化器（如AdamW）更新模型权重时的步长，控制模型参数每次更新的幅度，是影响收敛速度与训练稳定性的核心超参。

• 学习率过大：参数更新幅度大，损失值震荡、不收敛，甚至发散布化（NaN）。
• 学习率过小：收敛缓慢，训练耗时显著增加，且容易陷入局部最优。
• 微调场景常配合"线性预热（warmup）→ 余弦/线性衰减"的调度策略：训练初期学习率从较小值线性上升到目标值LR，再逐步衰减至MIN_LR。

• 参考范围：大模型（7B/8B及以上）微调通常取 1e-6～5e-5；LoRA 微调常用 1e-5～2e-5。
• 知识注入/领域适配类任务建议用较小值（1e-5以下）；指令跟随类任务可适当取大（2e-5上下）。
• 观察收敛情况调整：loss震荡或出现NaN时减小LR；loss长期不下降时可适当增大。
• 若增大GBS，可按"线性缩放规则"等比增大LR（如GBS翻倍，LR也按约2倍调整）。
• 首次训练建议保持默认值，稳定后再进行调优。

1.25e-6

MIN_LR

学习率调度器衰减的下界，即整个训练过程中学习率最低不会低于该值。训练后期学习率持续衰减，MIN_LR决定了衰减的终点：

• 设置合理的MIN_LR有助于训练后期对参数进行精细微调，提升收敛精度。
• 防止学习率衰减至0导致后期训练几乎停滞，也避免过小学习率带来的数值稳定性问题。

• 通常取LR的 1/10 左右（如 LR=1.25e-6 → MIN_LR=1.25e-7），默认值即遵循该比例。
• 若训练后期loss仍有下降趋势，可保持或适当增大MIN_LR。
• 若后期loss震荡，可适当降低MIN_LR使后期调整更精细。
• 无需自行精确调优，一般与LR联动按比例设置即可。

1.25e-7

RUN_TYPE

指定微调采用的训练方法，常用取值：

• LoRA（低秩适配）：冻结模型绝大部分权重，仅训练少量低秩矩阵参数，显存占用小、训练速度快，适合资源受限或快速适配场景，也能降低灾难性遗忘风险。
• SFT（全参/指令微调）：更新模型全部参数，性能提升上限更高，但显存和算力需求大，训练时间长。
• 选择不同训练类型时，LoRA相关参数（如LORA_R）的生效与语义不同，请配套配置。

• 首次跑通流程、资源受限或快速验证效果：选 LoRA。
• 追求最优质效果且算力充足：选 SFT。
• 选择 LoRA时需同步配置 LORA_R（秩）等LoRA参数。
• 两种类型的学习率风格也可有差异，SFT通常比LoRA取更低的学习率。

lora

MODEL_NAME

训练模型名称。

根据训练任务选择模型决定，无需自行配置。

qwen3_8b

SEQ_LEN

训练时模型单次计算最多处理的序列长度（以token计），超过该长度的样本会被截断。SEQ_LEN决定了模型可学习的上下文窗口：

• 序列越长，模型捕获的上下文信息越丰富，但显存占用和计算量大幅增加（注意力机制的计算量为序列长度的平方级）。
• 序列过短则长文本信息被截断，影响训练质量。

• 根据训练数据的实际长度分布设置：以短文本（如指令问答）为主，可保持默认4096或适当调小，避免大量padding浪费算力。
• 长文本/长对话任务可增大（如 8192、16384、32768），但需同步评估显存并适当降低GBS或开启序列并行；显存不足时优先降低GBS、使用梯度累积或在资源允许时增加卡数。
• SEQ_LEN不能超过模型支持的上下文上限，需与MODEL_NAME对应模型能力匹配。

4096

LR_WARMUP_RATIO

学习率预热步数占训练总步数的比例，平台按 LR_WARMUP_ITERS = TRAIN_ITERS × LR_WARMUP_RATIO 计算出预热步数。训练开始时，学习率从极小值（接近0）线性上升至目标LR：

• 预热让模型在训练初期以较小步长过渡，避免刚加载预训练权重时因较大学习率导致loss突变、梯度震荡或发散。
• 对稳定训练、提升收敛质量有重要作用。

• 参考范围：0.01～0.1，微调场景常用 0.01～0.05，默认值 0.01 偏向预热较快；
• 训练总步数较少时（如小数据集、短期训练）建议适当增大比例（0.03~0.1），使预热占比较合理；
• 训练总步数很多时可保持较小比例。
• 若训练初期loss剧烈上升或出现NaN，可适当增大预热比例观察。

0.01

DATA_TYPE

指定数据集模板与预处理方式，需与数据文件的实际格式严格匹配，不同Handler对数据列的解析方式不同：

• GeneralPretrainHandler：预训练格式数据处理，适用于继续预训练使用的Alpaca数据集（纯文本，无指令/回答结构化字段）。
• AlpacaStyleInstructionHandler：LLaMA-Factory模板的Alpaca格式，数据包含 instruction / input / output 等字段，适用于单轮指令微调。
• SharegptStyleInstructionHandler：LLaMA-Factory模板的ShareGPT多轮对话格式，数据以 conversations（含 role/content）结构组织，适用于多轮对话场景。选择错误会导致数据解析失败、字段缺失报错或训练效果异常。

• 先查看数据文件结构再选择：单轮指令数据选 AlpacaStyleInstructionHandler；多轮对话数据选 SharegptStyleInstructionHandler；纯文本续写/预训练数据选 GeneralPretrainHandler。
• 确认数据字段与所选Handler要求完全一致，否则会在数据加载阶段报错。
• 同一训练中使用统一的数据格式，不建议在多轮对话任务中混用单轮模板。
• 若数据量小且格式简单，建议先做小规模试跑验证数据处理正常后再全量训练。

AlpacaStyleInstructionHandler

EPOCH

训练轮次，即完整训练集被遍历学习的次数。1个Epoch表示所有训练样本各被训练1次：

• Epoch越多，模型对训练数据的拟合越充分，但过多会导致过拟合（模型过度记忆训练集、泛化能力下降）。
• Epoch过少则欠拟合，模型未能充分学习数据集特征。
• 总训练步数（TRAIN_ITERS）由EPOCH、训练样本量、GBS共同决定，同时影响LR调度（预热/衰减）。

• 微调常用范围 1～10：指令微调推荐 3～5，默认值4是通用稳妥选择；小数据集可适当增加（6~10）。
• 结合loss与验证集表现判断：loss已收敛不再下降、或验证集指标开始变差时，说明训练充分，可减少EPOCH或提前终止。
• 数据集大或算力紧张时优先用较少EPOCH（1~2）验证效果，再逐步增加。

4

GBS

全局批大小（Global Batch Size），指训练中所有机器、所有卡在同一个step内处理的样本总数，等于"单卡批大小 × 卡数"（含梯度累积）。GBS决定每一步梯度估计的样本量：

• GBS越大：梯度估计越准确、训练越稳定，但单步计算耗时和显存占用越大。
• GBS越小：显存占用小，但梯度噪声大，训练稳定性下降。
• 在总样本量固定时，GBS越大则总训练步数越少（在EPOCH不变前提下）。

• 在显存允许范围内尽量使用较大GBS（如32/64/128），有助于训练稳定。
• 显存不足时，采用"较小的单卡batch + 梯度累积"达到目标GBS，吞吐影响小。
• 分布式训练时，GBS必须能被总卡数整除。
• 增大GBS时可按比例适度增大LR（线性缩放），以免收敛变慢。
• 参考范围：大模型微调常用 16～128，默认16偏保守，可按显存实测上调。

16

LORA_R

LoRA（低秩适配）中新增低秩矩阵的秩（Rank），决定LoRA可训练参数矩阵的维度（即新增参数量），用于衡量矩阵的复杂度与信息量：

• R越大：LoRA的表示能力越强、可捕获的信息越丰富，但可训练参数增多、训练时长与显存开销增加。
• R越小：参数量少、训练更快、更省显存，同时由于容量受限，能起到一定的正则化作用，降低过拟合风险。
• 实践中即使较小的R（如8/16），配合主干模型也能取得较好的适配效果。

• 通用推荐 8～64，默认16是均衡选择。
• 数据量小或任务相对简单：用小R（8/16），防止过拟合。
• 数据量大或任务复杂（如多领域知识、代码）：可增大R（32/64）。
• 结合LORA_ALPHA（缩放系数）配置，常用 ALPHA = R 或 2×R。
• 若调大R后效果提升不明显，优先检查数据质量与学习率，再考虑继续增大R。

16