训练服务简介 训练服务模块上承接数据服务和标注服务两大模块，为自动驾驶研发提供方便易用的模型训练和评测平台，让用户无需过多关注底层资源，聚焦算法和模型开发。用户可上传符合Octopus平台规范的训练算法，将成熟的算法创建训练任务生成训练模型。此外，训练服务提供多种模型评测指标，从

查看更多 →

Turbo的存储加速实践。 设置训练存储加速 当完成上传数据至OBS并预热到SFS Turbo中步骤后，在ModelArts Standard中创建训练作业时，设置训练“SFS Turbo”，在“文件系统”中选择SFS Turbo实例名称，并指定“存储位置”和“云上挂载路径”。系统会在训练作业启动前，

查看更多 →

训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.907）

查看更多 →

管理训练实验 实验是白名单功能，如果有试用需求，请提工单申请权限。 训练实验为ModelArts Standard提供的一种训练作业管理能力， 您可以将训练作业分类有序地放入实验中进行管理。 如何将训练作业纳入实验 训练作业纳入实验的方式是在“创建训练作业”页面指定作业所属实验。有以下几个选项：

查看更多 →

增量模型训练 什么是增量训练 增量训练（Incremental Learning）是机器学习领域中的一种训练方法，它允许人工智能（AI）模型在已经学习了一定知识的基础上，增加新的训练数据到当前训练流程中，扩展当前模型的知识和能力，而不需要从头开始。 增量训练不需要一次性存储所有的

查看更多 →

本指导的讨论范围中。 已经完成环境准备（参考迁移环境准备），并且代码、预训练模型、数据等训练必需内容已经上传到环境中。 约束和限制 安装插件后，大部分能力能够对标在GPU上的使用，但并不是所有行为和GPU上是一一对应的，例如在torch_npu下，当PyTorch版本低于2.1.

查看更多 →

训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.907）

查看更多 →

训练前卡死 作业为多节点训练，且还未开始训练时发生卡死，可以在代码中加入os.environ["NCCL_DEBUG"] = "INFO"，查看NCCL DEBUG信息。 问题现象1 日志中还未出现NCCL DEBUG信息时已卡死。 解决方案1 检查代码，检查是否有参数中未传入“

查看更多 →

训练中途卡死 问题现象1 检测每个节点日志是否有报错信息，某个节点报错但作业未退出导致整个训练作业卡死。 解决方案1 查看报错原因，解决报错。 问题现象2 作业卡在sync-batch-norm中或者训练速度变慢。pytorch如果开了sync-batch-norm，多机会慢，因

查看更多 →

接建立VPC关系，则实际上归属于不同VPC的 云服务器 也能共享访问同一个文件系统。 支持区域： 全部 配置多VPC SFS容量型/通用文件系统/SFS Turbo支持多账号访问 只要将其他账号使用的VPC的VPC ID添加到文件系统的VPC列表下，且云 服务器 IP地址或地址段被添加至

查看更多 →

调整完成后单击“确定”。 停用、删除训练模型 在“发布测试”页面，您可以查看训练模型的状态： 当训练模型状态为“训练中”或“发布中”时，不可以进行操作； 当训练模型状态为“运行中”时，可以执行停用操作； 当训练模型状态为“训练成功”、“训练失败”和“停用”，可执行删除操作。 图4 训练管理 父主题： 训练发布

查看更多 →

打包训练模型 系统支持将训练好的模型归档以及打包成模型包。用户可以基于模型包创建验证服务、训练服务。模型验证服务详情可以在模型验证查看。模型训练服务详情可以在创建训练服务查看。 模型包主要包括模型验证服务的推理主入口函数、算法工程操作流、模型文件等。已发布的模型可以在模型管理查看。

查看更多 →

勾选后，创建模型训练任务的同时打包该模型。任务创建成功后可在“模型管理”界面看到打包的模型。 自动发布模型包 勾选“自动打包”才会展示该参数。勾选“自动发布模型包”，创建模型训练任务的同时打包该模型，并且将打包的模型自动上架。任务创建成功后可在“模型管理”界面看到“上架状态”为“上架中”的模型。

查看更多 →

训练作业 新建训练作业 新建多个训练作业 查询训练作业 修改训练作业参数 删除训练作业 查询训练作业候选集 父主题： API

查看更多 →

此模块也可显示多个计算节点运行任务时，资源占用的情况。 如果选择2个计算节点运行任务，则可选择查看单个节点资源占用情况。 如果1个计算节点上存在多张GPU，则会显示所有GPU占用情况。 资源占用情况功能模块，需要用户在制作 自定义镜像 时安装psutil与pynvml，参考命令如下：

查看更多 →

训练作业 创建训练作业 训练作业调测 查询训练作业列表 查询训练作业详情 更新训练作业描述 删除训练作业 终止训练作业 查询训练日志 查询训练作业的运行指标 父主题： 训练管理

查看更多 →

训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.907）

查看更多 →

训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.906）

查看更多 →

训练脚本说明 yaml配置文件参数配置说明 各个模型深度学习训练加速框架的选择 模型NPU卡数取值表 各个模型训练前文件替换 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907）

查看更多 →

训练作业 OBS操作相关故障 云上迁移适配故障 硬盘限制故障 外网访问限制 权限问题 GPU相关问题 业务代码问题 预置算法运行故障 训练作业卡死 训练作业运行失败 专属资源池创建训练作业 训练作业性能问题 Ascend相关问题

查看更多 →

弹性云服务器 弹性云服务器（Elastic Cloud Server，E CS ）是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后，您就可以像使用自己的本地PC或物理服务器一样，使用弹性云服务器。 在制作自定义镜像时，您可以在本地环境或者ECS上完成自定义镜像制作。

查看更多 →