基本概念 AI引擎 可支持用户进行机器学习、深度学习、模型训练作业开发的框架，如Tensorflow、Spark MLlib、MXNet、PyTorch、华为自研AI框架MindSpore等。 数据集 某业务下具有相同数据格式的数据逻辑集合。 特征操作 特征操作主要是对数据集进行特征处理。

查看更多 →

，不用进行强化学习，也可以准确判断和学习到使用者的偏好，最后，DPO算法还可以与其他优化算法相结合，进一步提高深度学习模型的性能。 SFT监督式微调(Self-training Fine-tuning)：是一种利用有标签数据进行模型训练的方法。 它基于一个预先训练好的模型，通过调

查看更多 →

纵向联邦作业XGBoost算法只支持两方参与训练。 训练作业必须选择一个当前计算节点发布的数据集。 作业创建者的数据集必须含有特征。 创建纵向联邦学习作业 纵向联邦学习作业在本地运行，目前支持XGBoost算法、逻辑回归LR算法和FiBiNET算法。 纵向联邦学习分为五个步骤：数据选择、样本对

查看更多 →

Step3 启动训练脚本 启动训练前需修改启动训练脚本demo.sh 内容。具体请参考•修改启动脚本。 对于falcon-11B训练任务开始前，需手动替换tokenizer中的config.json，具体请参见falcon-11B模型。 修改完yaml配置文件后，启动训练脚本；模型不

查看更多 →

yaml文件内容。 1、DPO偏好训练、Reward奖励模型训练、PPO强化学习目前仅限制支持于llama3系列 2、PPO训练暂不支持 ZeRO-3存在通信问题，如llama3-70B使用ZeRO-3暂不支持 训练策略类型 全参full，配置如下： finetuning_type:

查看更多 →

yaml文件内容。 1、DPO偏好训练、Reward奖励模型训练、PPO强化学习目前仅限制支持于llama3系列 2、PPO训练暂不支持 ZeRO-3存在通信问题，如llama3-70B使用ZeRO-3暂不支持 训练策略类型 全参full，配置如下： finetuning_type:

查看更多 →

迁移学习 如果当前数据集的特征数据不够理想，而此数据集的数据类别和一份理想的数据集部分重合或者相差不大的时候，可以使用特征迁移功能，将理想数据集的特征数据迁移到当前数据集中。 进行特征迁移前，请先完成如下操作： 将源数据集和目标数据集导入系统，详细操作请参见数据集。 创建迁移数据

查看更多 →

可见范围内的学员在学员端可看见此项目并可以进行学习，学习数据可在学习项目列表【数据】-【自学记录】查看。 学习设置： 防作弊设置项可以单个项目进行单独设置，不再根据平台统一设置进行控制。 文档学习按浏览时长计算，时长最大计为：每页浏览时长*文档页数；文档学习按浏览页数计算，不计入学习时长。 更多设置：添加协同人

查看更多 →

学习目标 掌握座席侧的前端页面开发设计。 父主题： 开发指南

查看更多 →

Megatron-DeepSpeed是一个基于PyTorch的深度学习模型训练框架。它结合了两个强大的工具：Megatron-LM和DeepSpeed，可在具有分布式计算能力的系统上进行训练，并且充分利用了多个GPU和深度学习加速器的并行处理能力。可以高效地训练大规模的语言模型。 Megatron-L

查看更多 →

执行微调训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集，可以忽略此步骤。 未上传训练权重文件，具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info

查看更多 →

Online中使用TensorFlow和Jupyter Notebook完成神经网络模型的训练，并利用该模型完成简单的图像分类。 父主题： 基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型

查看更多 →

如何查看ModelArts消费详情？ 更多 自动学习 自动学习生成的模型，存储在哪里？支持哪些其他操作？ 在ModelArts中图像分类和物体检测具体是什么？ 自动学习训练后的模型是否可以下载？ 自动学习项目中，如何进行增量训练？ 更多 训练作业 ModelArts中的作业为什么一直处于等待中？

查看更多 →

自然语言处理 大模型是一种参数量极大的预训练模型，是众多自然语言处理下游任务的基础模型。学术界和工业界的实践证明，随着模型参数规模的增加，自然语言处理下游任务的效果显著提升，这得益于海量数据、大量算力以及深度学习的飞跃发展。 基于自然语言处理大模型的预训练模型，可以根据业务需求开发出诸如

查看更多 →

Speed是一个开源库，用于加速深度学习训练。通过使用DeepSpeed，可以实现如混合精度训练、ZeRO内存优化等高级特性，以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值：[pt、sft、rm、ppo、dpo]，pt代表预训练，sft代表指令监督微调，r

查看更多 →

epochs=10) 父主题： 基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型

查看更多 →

自动学习训练后的模型是否可以下载？ 不可以下载。但是您可以在AI应用管理页面查看，或者将此模型部署为在线服务。 父主题： 模型训练

查看更多 →

临的实际困难，尤其是高昂的模型训练与部署成本，这往往成为创意落地的阻碍。通过大量开发者实践，针对主流昇腾云开源大模型，沉淀最佳的算力组合方案，为开发者在开发模型的最后一步，提供最佳实践的算力方案、实践指南和文档，节省开发者学习和试错资金成本，提升学习和开发效率。 父主题： 功能介绍

查看更多 →

重新训练 对第一次训练无影响，仅影响任务重跑。 “是”：清空上一轮的模型结果后重新开始训练。 “否”：导入上一轮的训练结果继续训练。适用于欠拟合的情况。 批量大小 一次训练所选取的样本数。 训练数据集切分数量 将整个数据集切分成多个子数据集，依次训练，每个epoch训练一个子数据集。

查看更多 →

学习任务 管理员以任务形式，把需要学习的知识内容派发给学员，学员在规定期限内完成任务，管理员可进行实时监控并获得学习相关数据。 入口展示 图1 入口展示 创建学习任务 操作路径：培训-学习-学习任务-【新建】 图2 新建学习任务 基础信息：任务名称、有效期是必填，其他信息选填 图3

查看更多 →

课程学习 前提条件 用户具有课程发布权限 操作步骤-电脑端 登录ISDP系统，选择“作业人员->学习管理->我的学习”并进入，查看当前可以学习的课程。 图1 我的学习入口 在“我的学习”的页面，点击每个具体的课程卡片，进入课程详情页面。可以按学习状态（未完成/已完成）、学习类型（

查看更多 →