自动学习 准备数据 模型训练 部署上线 模型发布

查看更多 →

创建微调数据集 对于需要个性化定制模型或者在特定任务上追求更高性能表现的场景，往往需要对大语言模型进行模型微调以适应特定任务。微调数据集是模型微调的基础，通过在微调数据集上进行训练从而获得改进后的新模型。 平台在资产中心预置了部分微调数据集，同时也支持用户根据需求自定义创建微调数据集。本文介绍如何创建微调数据集。

查看更多 →

【可选】自定义数据集dataset_info.json配置文件绝对路径；如使用自定义数据集，yaml配置文件需添加此参数。 是否选择加速深度学习训练框架Deepspeed，可参考表1选择不同的框架 是，选用ZeRO (Zero Redundancy Optimizer)优化器 ZeRO-0，配置以下参数

查看更多 →

Standard模型训练提供容器化服务和计算资源管理能力，负责建立和管理机器学习训练工作负载所需的基础设施，减轻用户的负担，为用户提供灵活、稳定、易用和极致性能的深度学习训练环境。通过ModelArts Standard模型训练，用户可以专注于开发、训练和微调模型。 ModelArts Standard模型

查看更多 →

LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。

查看更多 →

LoRA微调训练 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

LoRA微调训练 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。

查看更多 →

GeneralPretrainHandler：使用预训练的alpaca数据集。 GeneralInstructionHandler：使用微调的alpaca数据集。 MOSSMultiTurnHandler：使用微调的moss数据集。 AlpacaStyleInstructionHandler：使用LLama-Factory模板Alpaca数据集

查看更多 →

LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所

查看更多 →

peed是一个开源库，用于加速深度学习训练。通过使用DeepSpeed，可以实现如混合精度训练、ZeRO内存优化等高级特性，以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值：sft、rm、ppo、dpo。 sft代表指令监督微调； rm代表奖励模型训练； ppo代表PPO训练；

查看更多 →

为什么微调后的盘古大模型总是重复相同的回答 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成了复读机式的结果，即回答中反复出现某一句话或某几句话。这种情况可能是由于以下几个原因导致的，建议您依次排查： 推理参数设置：请检查推理参数中的“话题重复度控制”或“温度”或

查看更多 →

科学计算大模型的训练主要分为两个阶段：预训练与微调。 预训练阶段：预训练是模型学习基础知识的过程，基于大规模通用数据集进行。例如，在区域海洋要素预测中，可以重新定义深海变量、海表变量，调整深度层、时间分辨率、水平分辨率以及区域范围，以适配自定义区域的模型场景。此阶段需预先准备区域的高精度数据。 微调阶段：在预训练

查看更多 →

个开源库，用于加速深度学习训练。通过使用DeepSpeed，可以实现如混合精度训练、ZeRO内存优化等高级特性，以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值：[pt、sft、rm、ppo、dpo]，pt代表预训练，sft代表指令监督微调，rm代表奖励模型

查看更多 →

数据量和质量均满足要求，为什么盘古大模型微调效果不好 这种情况可能是由于以下原因导致的，建议您排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了欠拟合或过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，

查看更多 →

确认学习结果 HSS学习完白名单策略关联的 服务器 后，输出的学习结果中可能存在一些特征不明显的可疑进程需要再次进行确认，您可以手动或设置系统自动将这些可疑进程确认并分类标记为可疑、恶意或可信进程。 学习结果确认方式，在创建白名单策略时可设置： “学习结果确认方式”选择的“自动确认可

查看更多 →

peed是一个开源库，用于加速深度学习训练。通过使用DeepSpeed，可以实现如混合精度训练、ZeRO内存优化等高级特性，以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值：sft、rm、ppo、dpo。 sft代表指令监督微调； rm代表奖励模型训练； ppo代表PPO训练；

查看更多 →

peed是一个开源库，用于加速深度学习训练。通过使用DeepSpeed，可以实现如混合精度训练、ZeRO内存优化等高级特性，以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值：sft、rm、ppo、dpo。 sft代表指令监督微调； rm代表奖励模型训练； ppo代表PPO训练；

查看更多 →

为什么微调后的盘古大模型只能回答训练样本中的问题 当您将微调的模型部署以后，输入一个已经出现在训练样本中的问题，模型生成的结果很好，一旦输入了一个从未出现过的数据（目标任务相同），回答却完全错误。这种情况可能是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制

查看更多 →

为什么微调后的盘古大模型的回答中会出现乱码 当您将微调的模型部署以后，输入一个与目标任务同属的问题，模型生成的结果中出现了其他语言、异常符号、乱码等字符。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。

查看更多 →

面向熟悉代码编写和调测的AI工程师 ModelArts Standard自动学习 使用Standard自动学习实现垃圾分类 本案例基于华为云AI开发者社区AI Gallery中的数据集资产，让零AI基础的开发者使用ModelArts Standard的自动学习功能完成“图像分类”AI模型的训练和部署。 面向AI开发零基础的用户

查看更多 →

业知识与场景需求的深度融合，为客户提供 NLP、CV、多模态等领域的模型应用解决方案，帮助企业解决特定的业务问题。 方案架构 天宽昇腾云行业大模型适配服务通过深度学习算法优化与高效计算，结合华为昇腾算力，为各行业提供全面的大模型迁移、适配与优化服务。天宽通过深度优化昇腾算力，结合

查看更多 →