LoRA微调训练 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。

查看更多 →

GeneralPretrainHandler：使用预训练的alpaca数据集。 GeneralInstructionHandler：使用微调的alpaca数据集。 MOSSMultiTurnHandler：使用微调的moss数据集。 AlpacaStyleInstructionHandler：使用LLama-Factory模板Alpaca数据集

查看更多 →

LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的mllm_train/tr

查看更多 →

LoRA微调训练 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所

查看更多 →

idx格式文件，以满足训练要求。 LoRA微调训练与SFT微调使用同一个数据集，如果已经在SFT微调时处理过数据，可以直接使用，无需重复处理。如果未处理过数据，请参见SFT微调数据处理章节先处理数据。 Step2 LoRA微调权重转换 LoRA微调训练前，需要先把训练权重文件转换为Megatron格式。

查看更多 →

idx格式文件，以满足训练要求。 LoRA微调训练与SFT微调使用同一个数据集，如果已经在SFT微调时处理过数据，可以直接使用，无需重复处理。如果未处理过数据，请参见SFT全参微调数据处理章节先处理数据。 Step2 LoRA微调权重转换 LoRA微调训练前，需要先把训练权重文件转换为Megatron格式。

查看更多 →

确认学习结果 HSS学习完白名单策略关联的 服务器 后，输出的学习结果中可能存在一些特征不明显的可疑进程需要再次进行确认，您可以手动或设置系统自动将这些可疑进程确认并分类标记为可疑、恶意或可信进程。 学习结果确认方式，在创建白名单策略时可设置： “学习结果确认方式”选择的“自动确认可

查看更多 →

自动学习简介 自动学习功能介绍 ModelArts自动学习是帮助人们实现模型的低门槛、高灵活、零代码的定制化模型开发工具。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力，只需上传数据，通过自动学习界面引导和简单操作即可完成模型训练和部署。

查看更多 →

，或者学习率设置得过大，使得模型在最优解附近震荡，甚至跳过最优解，导致无法收敛。您可以尝试提升数据质量或者减小学习率的方式来解决。 图3 异常的Loss曲线：上升 Loss曲线平缓，保持高位：Loss保持平缓且保持高位不下降的原因可能是由于目标任务的难度较大，或者模型的学习率设置

查看更多 →

peed是一个开源库，用于加速深度学习训练。通过使用DeepSpeed，可以实现如混合精度训练、ZeRO内存优化等高级特性，以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值：sft、rm、ppo、dpo。 sft代表指令监督微调； rm代表奖励模型训练； ppo代表PPO训练；

查看更多 →

为什么微调后的盘古大模型的回答中会出现乱码 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。

查看更多 →

CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ 更多 远程登录 应用容器化改造介绍 应用容器化改造流程 步骤1：对应用进行分析 步骤2：准备应用运行环境

查看更多 →

个开源库，用于加速深度学习训练。通过使用DeepSpeed，可以实现如混合精度训练、ZeRO内存优化等高级特性，以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值：[pt、sft、rm、ppo、dpo]，pt代表预训练，sft代表指令监督微调，rm代表奖励模型

查看更多 →

service--sft-03 全参微调 160 3.00E-06 161 0.0235 1.8945 7 service-00 - - - 50 - 1.02 结果分析： 新闻自动分类是一个简单的分类任务，5281条数据的数据量也较小，因此LoRA微调和全参微调都能取得较好的调优结果。 LoRA微调由于可调参数少，所以学习率设置比全参微调大。

查看更多 →

为什么微调后的盘古大模型只能回答训练样本中的问题 当您将微调的模型部署以后，输入一个已经出现在训练样本中的问题，模型生成的结果很好，一旦输入了一个从未出现过的数据（目标任务相同），回答却完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制

查看更多 →

用于指定微调策略类型，可选择值full、lora。 如果设置为full，则对整个模型进行微调。这意味着在微调过程中，除了输出层外，模型的所有参数都将被调整以适应新的任务。 lora_target all 采取lora策略方法的目标模块，默认为all dataset 指令微调/ppo：alpaca_en_demo

查看更多 →

如何获得开发者认证的学习材料？ 华为云开发者学堂提供在线的视频课程，在线实验，相关学习资料都可以在认证详情页面上获取。 父主题： 开发者认证课程学习常见问题

查看更多 →

ta 【可选】dataset_info.json配置文件所属的绝对路径；如使用自定义数据集，yaml配置文件需添加此参数。 是否选择加速深度学习训练框架Deepspeed，可参考表1选择不同的框架。 是，选用ZeRO (Zero Redundancy Optimizer)优化器。

查看更多 →

数据量和质量均满足要求，为什么盘古大模型微调效果不好 这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，

查看更多 →