训练前卡死 作业为多节点训练，且还未开始训练时发生卡死，可以在代码中加入os.environ["NCCL_DEBUG"] = "INFO"，查看NCCL DEBUG信息。 问题现象1 日志中还未出现NCCL DEBUG信息时已卡死。 解决方案1 检查代码，检查是否有参数中未传入“

查看更多 →

训练中途卡死 问题现象1 检测每个节点日志是否有报错信息，某个节点报错但作业未退出导致整个训练作业卡死。 解决方案1 查看报错原因，解决报错。 问题现象2 作业卡在sync-batch-norm中或者训练速度变慢。pytorch如果开了sync-batch-norm，多机会慢，因

查看更多 →

进一步的调优）。 针对用户自己编写训练脚本或 自定义镜像 方式创建的训练作业，则需要在您的训练代码中添加评估代码，才可以在训练作业结束后查看相应的评估诊断建议。 只支持验证集的数据格式为图片 目前，仅如下常用框架的训练脚本支持添加评估代码。 TF-1.13.1-python3.6 TF-2

查看更多 →

ckpt恢复中断的训练 在容错机制下，如果因为硬件问题导致训练作业重启，用户可以在代码中读取预训练模型，恢复至重启前的训练状态。用户需要在代码里加上reload ckpt的代码，使能读取训练中断前保存的预训练模型。具体请参见断点续训练和增量训练。 父主题： 训练故障自动恢复

查看更多 →

多维度衡量模型质量。让自动驾驶研发更便捷。训练服务的开发流程如下： 图1 训练服务的开发流程 训练服务操作引导如下： 算法管理：负责管理用户上传的符合平台规范的算法。 训练任务：用户选择训练算法和训练数据集创建训练任务进行训练。 模型评测：负责管理评测脚本、评测任务和评测对比任务。

查看更多 →

镜像制作（训练） Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件，请确保基础镜像内包含上述软件且能通过PATH找到。 一般情况下，训练与评测定义为同一个引擎，主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile

查看更多 →

OlxhYWEudHh0 相关信息 本接口复用E CS 相应接口，响应参数说明、接口使用示例、返回值等信息详见ECS文档修改 云服务器 ，该文档内容同样适用于 L实例 云主机。 ECS接口信息中，L实例中的云主机对应于 弹性云服务器 。 父主题： API

查看更多 →

打包训练模型 系统支持将训练好的模型归档以及打包成模型包。用户可以基于模型包创建验证服务、训练服务。模型验证服务详情可以在模型验证查看。模型训练服务详情可以在创建训练服务查看。 模型包主要包括模型验证服务的推理主入口函数、算法工程操作流、模型文件等。已发布的模型可以在模型管理查看。

查看更多 →

创建训练任务，详细请参考模型训练。 删除训练任务。 模型训练工程描述 训练服务的描述信息，支持单击“”重新编辑。 切换到其他的训练工程、联邦学习工程、训练服务或超参优化服务的模型训练页面中。 模型训练运行环境信息查看和配置。 新建训练工程、联邦学习工程、训练服务或超参优化服务。 2（模型训练任务） 根据训练状态快速检索训练任务。

查看更多 →

训练作业 新建训练作业 新建多个训练作业 查询训练作业 修改训练作业参数 删除训练作业 查询训练作业候选集 父主题： API

查看更多 →

训练作业 OBS操作相关故障 云上迁移适配故障 硬盘限制故障 外网访问限制 权限问题 GPU相关问题 业务代码问题 预置算法运行故障 训练作业卡死 训练作业运行失败 专属资源池创建训练作业 训练作业性能问题 Ascend相关问题

查看更多 →

训练作业 创建训练作业 训练作业调测 查询训练作业列表 查询训练作业详情 更新训练作业描述 删除训练作业 终止训练作业 查询训练日志 查询训练作业的运行指标 父主题： 训练管理

查看更多 →

准备训练镜像 训练作业自定义镜像规范 已有镜像如何适配迁移至ModelArts训练平台 使用基础镜像构建新的训练镜像 在容器镜像中安装MLNX_OFED 父主题： 使用自定义镜像训练模型（模型训练）

查看更多 →

训练任务 Octopus平台为用户提供训练任务管理（支持分布式训练），任务实时日志，产物（模型）管理等多种功能。 创建训练任务 在左侧菜单栏中单击“训练服务 > 训练任务”。 单击“新建训练任务”，填写基本信息。 图1 新建训练任务 名称：任务组名称，包含中英文、数字、“_”“-”，不得超过32个字符。

查看更多 →

查看训练标签 通过给训练作业添加标签，可以标识云资源，便于快速搜索训练作业。 在ModelArts管理控制台的左侧导航栏中选择“训练管理 > 训练作业”。 在训练作业列表中，单击作业名称进入训练作业详情页面。 在训练作业详情页面，单击“标签”页签查看标签信息。 支持添加、修改、删

查看更多 →

查询训练规格 功能介绍 查询当前推荐系统所提供的离线计算规格，实时计算规格和排序模型训练规格。在创建数据源和场景时，需要提供此信息。 调试 您可以在 API Explorer 中调试该接口。 URI GET /v2.0/{project_id}/resource-specs 表1 路径参数

查看更多 →

准备训练数据 在创建抽取模型时，需要您提前准备用于训练模型的数据并上传至OBS目录，数据格式为txt文本的自然语言短句。KG服务当前支持的数据类型请参见训练数据类型介绍。 准备数据流程如下： 准备待标注的数据 定义三元组类型（schema） 标注数据 上传至OBS 准备待标注的数据

查看更多 →

训练作业 功能咨询 训练过程读取数据 编写训练代码 创建训练作业 管理训练作业版本 查看作业详情

查看更多 →

编写训练代码 训练模型时引用依赖包，如何创建训练作业？ 训练作业常用文件路径是什么？ 如何安装C++的依赖库？ 训练作业中如何判断文件夹是否拷贝完毕？ 如何在训练中加载部分训练好的参数？ 训练作业的启动文件如何获取训练作业中的参数？ 训练作业中使用os.system('cd xxx')无法进入相应的文件夹？

查看更多 →

训练管理（旧版） 训练作业 训练作业参数配置 可视化作业 资源和引擎规格接口 作业状态参考 父主题： 历史API

查看更多 →

训练作业 创建训练作业 查询训练作业列表 查询训练作业版本详情 删除训练作业版本 查询训练作业版本列表 创建训练作业版本 停止训练作业版本 更新训练作业描述 删除训练作业 获取训练作业日志的文件名 查询预置算法 查询训练作业日志 父主题： 训练管理（旧版）

查看更多 →