Megatron-Deepspeed是一个基于PyTorch的深度学习模型训练框架。它结合了两个强大的工具：Megatron-LM和DeepSpeed，可在具有分布式计算能力的系统上进行训练，并且充分利用了多个GPU和深度学习加速器的并行处理能力。可以高效地训练大规模的语言模型。 Megatron-L

查看更多 →

GS_OPT_MODEL GS_OPT_MODEL是启用AiEngine执行计划时间预测功能时的数据表，记录机器学习模型的配置、训练结果、功能、对应系统函数、训练历史等相关信息。 分布式场景下提供此系统表，但AI能力不可用。 父主题： 系统表

查看更多 →

GS_OPT_MODEL GS_OPT_MODEL是启用AiEngine执行计划时间预测功能时的数据表，记录机器学习模型的配置、训练结果、功能、对应系统函数、训练历史等相关信息。 分布式场景下提供此系统表，但AI能力不可用。 父主题： 系统表

查看更多 →

，因为监督信号直接从数据本身派生。 有监督学习 有监督学习是机器学习任务的一种。它从有标记的训练数据中推导出预测函数。有标记的训练数据是指每个训练实例都包括输入和期望的输出。 LoRA 局部微调（LoRA）是一种优化技术，用于在深度学习模型的微调过程中，只对模型的一部分参数进行更

查看更多 →

GS_OPT_MODEL GS_OPT_MODEL是启用AiEngine执行计划时间预测功能时的数据表，记录机器学习模型的配置、训练结果、功能、对应系统函数、训练历史等相关信息。 分布式场景下提供此系统表，但AI能力不可用。 父主题： AI

查看更多 →

迁移学习 如果当前数据集的特征数据不够理想，而此数据集的数据类别和一份理想的数据集部分重合或者相差不大的时候，可以使用特征迁移功能，将理想数据集的特征数据迁移到当前数据集中。 进行特征迁移前，请先完成如下操作： 将源数据集和目标数据集导入系统，详细操作请参见数据集。 创建迁移数据

查看更多 →

可见范围内的学员在学员端可看见此项目并可以进行学习，学习数据可在学习项目列表【数据】-【自学记录】查看。 学习设置： 防作弊设置项可以单个项目进行单独设置，不再根据平台统一设置进行控制。 文档学习按浏览时长计算，时长最大计为：每页浏览时长*文档页数；文档学习按浏览页数计算，不计入学习时长。 更多设置：添加协同人

查看更多 →

学习目标 掌握座席侧的前端页面开发设计。 父主题： 开发指南

查看更多 →

'unidecode'” 分布式Tensorflow无法使用“tf.variable” MXNet创建kvstore时程序被阻塞，无报错 日志出现ECC错误，导致训练作业失败 超过最大递归深度导致训练作业失败 使用预置算法训练时，训练失败，报“bndbox”错误 训练作业状态显示“审核作业初始化”

查看更多 →

自然语言处理 大模型是一种参数量极大的预训练模型，是众多自然语言处理下游任务的基础模型。学术界和工业界的实践证明，随着模型参数规模的增加，自然语言处理下游任务的效果显著提升，这得益于海量数据、大量算力以及深度学习的飞跃发展。 基于自然语言处理大模型的预训练模型，可以根据业务需求开发出诸如

查看更多 →

如何提升训练效率，同时减少与OBS的交互？ 场景描述 在使用ModelArts进行自定义深度学习训练时，训练数据通常存储在 对象存储服务 （OBS）中，且训练数据较大时（如200GB以上），每次都需要使用GPU资源池进行训练，且训练效率低。 希望提升训练效率，同时减少与 对象存储OBS 的交互。可通过如下方式进行调整优化。

查看更多 →

学习空间 我的课堂 MOOC课程 我的考试

查看更多 →

重新训练 对第一次训练无影响，仅影响任务重跑。 “是”：清空上一轮的模型结果后重新开始训练。 “否”：导入上一轮的训练结果继续训练。适用于欠拟合的情况。 批量大小 一次训练所选取的样本数。 训练数据集切分数量 将整个数据集切分成多个子数据集，依次训练，每个epoch训练一个子数据集。

查看更多 →

示例：创建DDP分布式训练（PyTorch+GPU） 本文介绍三种使用训练作业来启动PyTorch DDP训练的方法及对应代码示例。 使用PyTorch预置框架功能，通过mp.spawn命令启动 使用 自定义镜像 功能 通过torch.distributed.launch命令启动 通过torch

查看更多 →

示例：创建DDP分布式训练（PyTorch+NPU） 本文介绍了使用训练作业的自定义镜像+自定义启动命令来启动PyTorch DDP on Ascend加速卡训练。 前提条件 需要有Ascend加速卡资源池。 创建训练作业 本案例创建训练作业时，需要配置如下参数。 表1 创建训练作业的配置说明

查看更多 →

从而提供更好的稳定性和可靠性，在大模型训练和推理以及权重存储方面更受欢迎。 FP16：用于深度学习训练和推理过程中，可以加速计算并减少内存的占用，对模型准确性的影响在大多数情况下较小。与BF16相比在处理非常大或非常小的数值时遇到困难，导致数值的精度损失。 综上所述，BF16因其

查看更多 →

自动学习训练后的模型是否可以下载？ 不可以下载。但是您可以在AI应用管理页面查看，或者将此模型部署为在线服务。 父主题： 模型训练

查看更多 →

调整参数和超参数。 神经网络中：学习率、学习衰减率、隐藏层数、隐藏层的单元数、Adam优化算法中的β1和β2参数、batch_size数值等。 其他算法中：随机森林的树数量，k-means中的cluster数，正则化参数λ等。 增加训练数据作用不大。 欠拟合一般是因为模型的学习能力不足，一味地增加数据，训练效果并不明显。

查看更多 →

学习任务 管理员以任务形式，把需要学习的知识内容派发给学员，学员在规定期限内完成任务，管理员可进行实时监控并获得学习相关数据。 入口展示 图1 入口展示 创建学习任务 操作路径：培训-学习-学习任务-【新建】 图2 新建学习任务 基础信息：任务名称、有效期是必填，其他信息选填 图3

查看更多 →

课程学习 前提条件 用户具有课程发布权限 操作步骤-电脑端 登录ISDP系统，选择“作业人员->学习管理->我的学习”并进入，查看当前可以学习的课程。 图1 我的学习入口 在“我的学习”的页面，点击每个具体的课程卡片，进入课程详情页面。可以按学习状态（未完成/已完成）、学习类型（

查看更多 →

模型训练 使用特征工程处理后生成的训练集进行模型训练。 创建联邦学习训练任务（简易编辑器） 单击简易编辑器界面右上角的“训练”。 进入“训练任务配置”界面，如图1所示。 图1 训练任务配置 参数说明，如表1所示。 表1 参数配置 区域 参数名称 参数描述 任务说明 任务名称 训练任务的名称。

查看更多 →