创建微调数据集 数据集是数据的集合，微调数据集是模型训练的基础。用户可自主创建用于模型训练的数据集。 前提条件 通过OBS接入数据时，需同意服务授权以获得OBS（ 对象存储服务 ）只读权限。 操作步骤 在AI原生应用引擎工作台的左侧导航栏选择“知识中心 > 微调数据集”。 在“微调数据

查看更多 →

ed是一个开源库，用于加速深度学习训练。通过使用DeepSpeed，可以实现如混合精度训练、ZeRO内存优化等高级特性，以提高训练效率和性能 stage sft 表示训练类型。可选择值：[pt、sf、rm、ppo]，pt代表预训练，sft代表指令监督微调，rm代表奖励模型训练，ppo代表PPO训练。

查看更多 →

确认学习结果 HSS学习完白名单策略关联的 服务器 后，输出的学习结果中可能存在一些特征不明显的可疑进程需要再次进行确认，您可以手动或设置系统自动将这些可疑进程确认并分类标记为可疑、恶意或可信进程。 学习结果确认方式，在创建白名单策略时可设置： “学习结果确认方式”选择的“自动确认可

查看更多 →

CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ 更多 远程登录 应用容器化改造介绍 应用容器化改造流程 步骤1：对应用进行分析 步骤2：准备应用运行环境

查看更多 →

SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所

查看更多 →

SFT全参微调权重转换 增量训练前需将HuggingFace格式权重转换为Megatron格式后再进行SFT全参微调。 本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练。

查看更多 →

SFT全参微调任务 前提条件 SFT全参微调使用的数据集为alpaca_data数据，已经完成数据处理，具体参见SFT全参微调数据处理。 原始的HuggingFace权重，已将原始的HuggingFace权重转换为Megatron格式，具体参见SFT全参微调权重转换 Step2 启动训练脚本

查看更多 →

SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b

查看更多 →

旗舰版机器人默认支持重量级深度学习。 专业版和高级版机器人如果需要使用重量级深度学习，需要先单击“重量级深度学习”，然后单击“联系我们”。 图2 重量级深度学习 编辑模型信息。 轻量级深度学习：选填“模型描述”。 图3 轻量级深度学习 重量级深度学习：选择量级“中量级”或“重量级”，选填“模型描述”。

查看更多 →

0中的Keras高层接口及TensorFlow2.0实战 深度学习预备知识 介绍学习算法，机器学习的分类、整体流程、常见算法，超参数和验证集，参数估计、最大似然估计和贝叶斯估计 深度学习概览 介绍神经网络的定义与发展，深度学习的训练法则，神经网络的类型以及深度学习的应用 图像识别、 语音识别 、 机器翻译 编程实验

查看更多 →

横向联邦学习场景 TICS 从UCI网站上获取了乳腺癌数据集Breast，进行横向联邦学习实验场景的功能介绍。 乳腺癌数据集：基于医学图像中提取的若干特征，判断癌症是良性还是恶性，数据来源于公开数据Breast Cancer Wisconsin (Diagnostic)。 场景描述

查看更多 →

自动学习简介 自动学习功能介绍 ModelArts自动学习是帮助人们实现AI应用的低门槛、高灵活、零代码的定制化模型开发工具。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力，只需上传数据，通过自动学习界面引导和简单操作即可完成模型训练和部署。

查看更多 →

Notebook开发深度学习模型

查看更多 →

CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ 更多 远程登录 应用容器化改造介绍 应用容器化改造流程 步骤1：对应用进行分析 步骤2：准备应用运行环境

查看更多 →

SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b

查看更多 →

SFT全参微调权重转换 SFT全参微调需将HuggingFace格式权重转换为megatron格式后再进行SFT全参微调。 本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练

查看更多 →

GeneralPretrainHandler：使用预训练的alpaca数据集。 GeneralInstructionHandler：使用微调的alpaca数据集。 MOSSMultiTurnHandler：使用微调的moss数据集。 MBS 4 表示流水线并行中一个micro batch所处理的样本量。在流水线并行

查看更多 →

SFT全参微调训练 SFT全参微调数据处理 SFT全参微调权重转换 SFT全参微调任务 父主题： LLama2系列模型基于DevServer适配PyTorch NPU训练指导（6.3.904）

查看更多 →

CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ CCE是否和深度学习服务可以内网通信？ 更多 远程登录 应用容器化改造介绍 应用容器化改造流程 步骤1：对应用进行分析 步骤2：准备应用运行环境

查看更多 →

如何获得开发者认证的学习材料？ 华为云开发者学堂提供在线的视频课程，在线实验，相关学习资料都可以在认证详情页面上获取。 父主题： 开发者认证课程学习常见问题

查看更多 →

200USD 考试内容 HCIA-AI V3.0考试包含人工智能基础知识、机器学习、深度学习、华为昇腾AI体系、华为AI全栈全场景战略知识等内容。 知识点 人工智能概览 10% 机器学习概览 20% 深度学习概览 20% 业界主流开发框架 12% 华为AI开发框架MindSpore 8%

查看更多 →