AI开发平台ModelArts
AI开发平台ModelArts
本产品内“
”的所有结果
本产品内“
”的所有结果
最新动态
功能总览
服务公告
【下线公告】华为云ModelArts服务旧版训练管理下线公告
产品介绍
图解ModelArts
初识ModelArts
初识Workflow
什么是ModelArts
产品优势
应用场景
功能介绍
Standard功能介绍
Standard自动学习
Standard Workflow
Standard数据管理
Standard开发环境
Standard模型训练
Standard模型部署
Standard资源管理
Standard支持的AI框架
MaaS大模型即服务平台功能介绍
Lite Cluster&Server介绍
AI Gallery功能介绍
AI开发基础知识
AI开发基本流程介绍
AI开发基本概念
ModelArts中常用概念
安全
责任共担
资产识别与管理
身份认证与访问控制
数据保护技术
审计与日志
服务韧性
监控安全风险
故障恢复
更新管理
认证证书
安全边界
约束与限制
权限管理
计费说明
配额与限制
与其他云服务的关系
计费说明
计费模式
ModelArts计费模式概述
包年/包月
按需计费
计费项
自动学习计费项
数据管理计费项
开发环境计费项
模型训练计费项
AI应用计费项
推理部署计费项
专属资源池计费项
计费样例
变更计费模式
变更计费模式概述
按需转包年/包月
包年/包月转按需
续费
续费概述
手动续费
自动续费
费用账单
欠费说明
停止计费
成本管理
计费FAQ
如何查看ModelArts中正在收费的作业?
如何查看ModelArts消费详情?
如果不再使用ModelArts,如何停止收费?
ModelArts上传数据集收费吗?
ModelArts标注完样本集后,如何保证退出后不再产生计费?
ModelArts自动学习所创建项目一直在扣费,如何停止计费?
训练作业如何收费?
为什么项目删除完了,仍然还在计费?
快速入门
ModelArts入门指引
使用ModelArts Standard自定义算法实现手写数字识别
ModelArts入门实践
ModelArts用户指南(Standard)
ModelArts Standard使用流程
ModelArts Standard准备工作
配置ModelArts Standard访问授权
快速配置ModelArts委托授权
创建IAM用户并授权使用ModelArts
创建并管理工作空间
创建OBS桶用于ModelArts存储数据
ModelArts Standard资源管理
Standard资源池功能介绍
创建Standard专属资源池
管理Standard专属资源池
查看Standard专属资源池详情
扩缩容Standard专属资源池
升级Standard专属资源池驱动
修复Standard专属资源池故障节点
修改Standard专属资源池支持的作业类型
迁移Standard专属资源池和网络至其他工作空间
配置Standard专属资源池可访问公网
使用TMS标签实现资源分组管理
释放Standard专属资源池和删除网络
使用自动学习实现零代码AI开发
自动学习简介
使用自动学习实现图像分类
准备图像分类数据
创建图像分类项目
标注图像分类数据
训练图像分类模型
部署图像分类服务
使用自动学习实现物体检测
准备物体检测数据
创建物体检测项目
标注物体检测数据
训练物体检测模型
部署物体检测服务
使用自动学习实现预测分析
准备预测分析数据
创建预测分析项目
训练预测分析模型
部署预测分析服务
使用自动学习实现声音分类
准备声音分类数据
创建声音分类项目
标注声音分类数据
训练声音分类模型
部署声音分类服务
使用自动学习实现文本分类
准备文本分类数据
创建文本分类项目
标注文本分类数据
训练文本分类模型
部署文本分类服务
使用窍门
创建项目时,如何快速创建OBS桶及文件夹?
自动学习生成的模型,存储在哪里?支持哪些其他操作?
使用Workflow实现低代码AI开发
什么是Workflow
管理Workflow
查找Workflow工作流
查看Workflow工作流运行记录
管理Workflow工作流
重试/停止/运行Workflow节点
开发Workflow命令参考
开发Workflow的核心概念介绍
配置Workflow参数
配置Workflow的输入输出目录
创建Workflow节点
创建Workflow数据集节点
创建Workflow数据集标注节点
创建Workflow数据集导入节点
创建Workflow数据集版本发布节点
创建Workflow训练作业节点
创建Workflow模型注册节点
创建Workflow服务部署节点
构建Workflow多分支运行场景
Workflow多分支运行介绍
构建条件节点控制分支执行
配置节点参数控制分支执行
配置多分支节点数据
编排Workflow
发布Workflow
发布Workflow到ModelArts
发布Workflow到AI Gallery
Workflow高阶能力
在Workflow中使用大数据能力(DLI/MRS)
在Workflow中指定仅运行部分节点
使用Notebook进行AI开发调试
Notebook使用场景
创建Notebook实例
通过JupyterLab在线使用Notebook实例进行AI开发
使用JupyterLab在线开发和调试代码
JupyterLab常用功能介绍
在JupyterLab使用Git克隆代码仓
上传文件至JupyterLab
上传本地文件至JupyterLab
克隆GitHub开源仓库文件到JupyterLab
上传OBS文件到JupyterLab
上传远端文件至JupyterLab
下载JupyterLab文件到本地
在JupyterLab中使用MindInsight可视化作业
在JupyterLab中使用TensorBoard可视化作业
通过PyCharm远程使用Notebook实例
使用PyCharm Toolkit插件连接Notebook
使用PyCharm手动连接Notebook
使用PyCharm上传数据至Notebook
通过VS Code远程使用Notebook实例
VS Code连接Notebook方式介绍
安装VS Code软件
VS Code ToolKit连接Notebook
VS Code手动连接Notebook
在VS Code中上传下载文件
通过SSH工具远程使用Notebook
管理Notebook实例
查找Notebook实例
更新Notebook实例
启动/停止/删除实例
保存Notebook实例
动态扩充云硬盘EVS容量
动态挂载OBS并行文件系统
查看Notebook实例事件
Notebook cache盘告警上报
ModelArts CLI命令参考
ModelArts CLI命令功能介绍
(可选)本地安装ma-cli
ma-cli auto-completion自动补全命令
ma-cli configure鉴权命令
ma-cli image镜像构建支持的命令
ma-cli ma-job训练作业支持的命令
ma-cli dli-job提交DLI Spark作业支持的命令
使用ma-cli obs-copy命令复制OBS数据
在Notebook中使用Moxing命令
MoXing Framework功能介绍
Notebook中快速使用MoXing
mox.file与本地接口的对应关系和切换
MoXing常用操作的样例代码
MoXing进阶用法的样例代码
数据准备与处理
数据准备使用流程
创建ModelArts数据集
导入数据到ModelArts数据集
数据导入方式介绍
从OBS导入数据到ModelArts数据集
从OBS导入数据到数据集场景介绍
从OBS目录导入数据到数据集
从Manifest文件导入数据到数据集
从OBS目录导入数据规范说明
从Manifest文件导入规范说明
从DWS导入数据到ModelArts数据集
从DLI导入数据到ModelArts数据集
从MRS导入数据到ModelArts数据集
从本地上传数据到ModelArts数据集
标注ModelArts数据集中的数据
数据标注场景介绍
通过人工标注方式标注数据
创建ModelArts人工标注作业
人工标注图片数据
人工标注文本数据
人工标注音频数据
人工标注视频数据
管理标注数据
通过智能标注方式标注数据
创建智能标注作业
确认智能标注作业的数据难例
使用自动分组智能标注作业
通过团队标注方式标注数据
团队标注使用流程
创建和管理团队
创建团队标注任务
审核并验收团队标注任务结果
管理团队和团队成员
管理标注作业
发布ModelArts数据集中的数据版本
分析ModelArts数据集中的数据特征
导出ModelArts数据集中的数据
导出ModelArts数据集中的数据到OBS
导出ModelArts数据集中的数据为新数据集
入门案例:快速创建一个物体检测的数据集
使用ModelArts Standard训练模型
模型训练使用流程
准备模型训练代码
预置框架启动文件的启动流程说明
开发用于预置框架训练的代码
开发用于自定义镜像训练的代码
准备模型训练镜像
创建调试训练作业
使用PyCharm ToolKit创建并调试训练作业
创建算法
创建生产训练作业
增量模型训练
分布式模型训练
分布式训练功能介绍
创建单机多卡的分布式训练(DataParallel)
创建多机多卡的分布式训练(DistributedDataParallel)
示例:创建DDP分布式训练(PyTorch+GPU)
示例:创建DDP分布式训练(PyTorch+NPU)
自动模型优化(AutoSearch)
自动模型优化介绍
创建自动模型优化的训练作业
模型训练高可靠性
训练作业容错检查
训练日志失败分析
训练作业卡死检测
训练作业重调度
设置断点续训练
设置无条件自动重启
管理模型训练作业
查看训练作业详情
查看训练作业资源占用情况
查看模型评估结果
查看训练作业事件
查看训练作业日志
修改训练作业优先级
使用Cloud Shell调试生产训练作业
重建、停止或删除训练作业
管理训练容器环境变量
查看训练作业标签
使用ModelArts Standard部署模型并推理预测
推理部署使用场景
创建AI应用
创建AI应用不同方式的场景介绍
从训练作业中导入AI应用文件创建模型
从OBS中导入AI应用文件创建模型
从容器镜像中导入AI应用文件创建模型
创建AI应用规范参考
模型包结构介绍
模型配置文件编写说明
模型推理代码编写说明
自定义引擎创建模型规范
自定义脚本代码示例
将AI应用部署为实时推理作业
实时推理的部署及使用流程
部署模型为在线服务
访问在线服务支持的认证方式
通过Token认证的方式访问在线服务
通过AK/SK认证的方式访问在线服务
通过APP认证的方式访问在线服务
访问在线服务支持的访问通道
通过公网访问通道的方式访问在线服务
通过VPC高速访问通道的方式访问在线服务
访问在线服务支持的传输协议
使用WebSocket协议的方式访问在线服务
使用Server-Sent Events协议的方式访问在线服务
将AI应用部署为批量推理服务
管理AI应用
查看AI应用详情
查看AI应用事件
管理AI应用版本
管理同步在线服务
查看在线服务详情
查看在线服务的事件
管理在线服务生命周期
修改在线服务配置
在云监控平台查看在线服务性能指标
集成在线服务API至生产环境中应用
管理批量推理作业
查看批量服务详情
查看批量服务的事件
管理批量服务生命周期
修改批量服务配置
制作自定义镜像用于ModelArts Standard
自定义镜像使用场景
ModelArts支持的预置镜像列表
ModelArts预置镜像更新说明
ModelArts统一镜像列表
Notebook专属预置镜像列表
训练专属预置镜像列表
推理专属预置镜像列表
制作自定义镜像用于创建Notebook
Notebook的自定义镜像制作方法
在ECS上构建自定义镜像并在Notebook中使用
在Notebook中通过Dockerfile从0制作自定义镜像
在Notebook中通过镜像保存功能制作自定义镜像
制作自定义镜像用于训练模型
训练作业的自定义镜像制作流程
使用预置镜像制作自定义镜像用于训练模型
已有镜像迁移至ModelArts用于训练模型
从0制作自定义镜像用于创建训练作业(PyTorch+CPU/GPU)
从0制作自定义镜像用于创建训练作业(MPI+CPU/GPU)
从0制作自定义镜像用于创建训练作业(Tensorflow+GPU)
从0制作自定义镜像用于创建训练作业(MindSpore+Ascend)
制作自定义镜像用于推理
AI应用的自定义镜像制作流程
在Notebook中通过镜像保存功能制作自定义镜像用于推理
在Notebook中通过Dockerfile从0制作自定义镜像用于推理
在ECS中通过Dockerfile从0制作自定义镜像用于推理
ModelArts Standard资源监控
ModelArts Standard资源监控概述
在ModelArts控制台查看监控指标
在AOM控制台查看ModelArts所有监控指标
使用Grafana查看AOM中的监控指标
安装配置Grafana
在Windows上安装配置Grafana
在Linux上安装配置Grafana
在Notebook上安装配置Grafana
配置Grafana数据源
配置仪表盘查看指标数据
使用CTS审计ModelArts服务
ModelArts支持云审计的关键操作
查看ModelArts相关审计日志
ModelArts用户指南(Lite Server)
Lite Server使用前必读
Lite Server使用流程
Lite Server高危操作一览表
Lite Server算力资源和镜像版本配套关系
Lite Server资源开通
Lite Server资源配置
Lite Server资源配置流程
配置Lite Server网络
配置Lite Server存储
配置Lite Server软件环境
NPU服务器上配置Lite Server资源软件环境
GPU服务器上配置Lite Server资源软件环境
Lite Server资源使用
GPT-2基于Server适配PyTorch GPU的训练推理指导
Lite Server资源管理
查看Lite Server服务器详情
启动或停止Lite Server服务器
同步Lite Server服务器状态
切换Lite Server服务器操作系统
监控Lite Server资源
使用CES监控Lite Server资源
使用DCGM监控Lite Server资源
NPU日志收集上传
释放Lite Server资源
ModelArts用户指南(Lite Cluster)
Lite Cluster使用前必读
Lite Cluster使用流程
Lite Cluster高危操作一览表
不同机型的对应的软件配套版本
Lite Cluster资源开通
Lite Cluster资源配置
Lite Cluster资源配置流程
配置Lite Cluster网络
配置kubectl工具
配置Lite Cluster存储
(可选)配置驱动
(可选)配置镜像预热
Lite Cluster资源使用
在Lite Cluster资源池上使用Snt9B完成分布式训练任务
在Lite Cluster资源池上使用ranktable路由规划完成Pytorch NPU分布式训练
在Lite Cluster资源池上使用Snt9B完成推理任务
Lite Cluster资源管理
Lite Cluster资源管理介绍
管理Lite Cluster节点
管理Lite Cluster节点池
管理Lite Cluster资源池标签
扩缩容Lite Cluster资源池
升级Lite Cluster资源池驱动
监控Lite Cluster资源
使用AOM看Lite Cluster监控指标
使用Prometheus查看Lite Cluster监控指标
释放Lite Cluster资源
最佳实践
ModelArts最佳实践案例列表
Standard权限管理
ModelArts权限管理基本概念
权限控制方式
IAM
依赖和委托
工作空间
典型场景配置实践
个人用户快速配置ModelArts访问权限
配置ModelArts基本使用权限
场景描述
Step1 创建用户组并加入用户
Step2 为用户配置云服务使用权限
Step3 为用户配置ModelArts的委托访问授权
Step4 测试用户权限
管理员和开发者权限分离
使用Cloud Shell登录训练容器
限制用户使用公共资源池
给子账号配置文件夹级的SFS Turbo访问权限
FAQ
使用ModelArts时提示“权限不足”,如何解决?
Standard开发环境
将Notebook的Conda环境迁移到SFS磁盘
Standard模型训练
使用ModelArts Standard自定义算法实现手写数字识别
Standard推理部署
ModelArts Standard推理服务访问公网方案
端到端运维ModelArts Standard推理服务方案
使用自定义引擎在ModelArts Standard创建AI应用
使用大模型在ModelArts Standard创建AI应用部署在线服务
第三方推理框架迁移到ModelArts Standard推理自定义引擎
ModelArts Standard推理服务支持VPC直连的高速访问通道配置
ModelArts Standard的WebSocket在线服务全流程开发
从0-1制作自定义镜像并创建AI应用
API参考
使用前必读
概述
调用说明
终端节点
约束与限制
基本概念
API概览
如何调用API
构造请求
认证鉴权
返回结果
开发环境管理
创建Notebook实例
查询Notebook实例列表
查询所有Notebook实例列表
查询Notebook实例详情
更新Notebook实例
删除Notebook实例
通过运行的实例保存成容器镜像
查询支持的有效规格列表
查询支持可切换规格列表
查询运行中的开发环境可用时长
Notebook时长续约
启动Notebook实例
停止Notebook实例
获取动态挂载OBS实例信息列表
动态挂载OBS
获取动态挂载OBS实例详情
动态卸载OBS
查询支持的镜像列表
注册自定义镜像
查询用户镜像组列表
查询镜像详情
删除镜像
训练管理
创建算法
查询算法列表
查询算法详情
更新算法
删除算法
创建训练作业
查询训练作业详情
更新训练作业描述
删除训练作业
终止训练作业
查询训练作业指定任务的日志(预览)
查询训练作业指定任务的日志(OBS链接)
查询训练作业指定任务的运行指标
查询训练作业列表
获取训练作业支持的公共规格
获取训练作业支持的AI预置框架
AI应用管理
查询模型runtime
查询AI应用列表
创建AI应用
查询AI应用详情
删除AI应用
APP认证管理
获取APP列表
创建APP
查询APP详情
删除APP
增加AppCode
重置AppCode
删除AppCode
重置AppSecret
获取用户绑定APP的api列表
注册API并授权给APP
删除API
授权API至APP
更新API授权
解除API对APP的授权
获取API授权关系列表
服务管理
通过patch操作对服务进行更新
查询服务监控信息
查询服务列表
部署服务
查询支持的服务部署规格
查询服务详情
更新服务配置
删除服务
更新模型服务的单个属性
查询服务事件日志
查询服务更新日志
添加资源标签
删除资源标签
查询推理服务标签
查询推理VPC访问通道信息的API
资源管理
查询OS的配置参数
查询插件模板
查询节点列表
批量删除节点
查询事件列表
创建网络资源
查询网络资源列表
查询网络资源
删除网络资源
更新网络资源
查询资源实时利用率
创建资源池
查询资源池列表
查询资源池
删除资源池
更新资源池
资源池监控
资源池统计
查询资源规格列表
查询专属资源池作业列表
查询专属资源池作业统计信息
DevServer管理
查询用户所有DevServer实例列表
创建DevServer
查询DevServer实例详情
删除DevServer实例
实时同步用户所有DevServer实例状态
启动DevServer实例
停止DevServer实例
授权管理
查看授权列表
配置授权
删除授权
创建ModelArts委托
应用示例
开发环境的应用示例
以PyTorch框架创建训练作业(新版训练)
管理ModelArts服务的委托授权
权限策略和授权项
策略及授权项说明
数据管理权限
开发环境权限
训练作业权限
模型管理权限
服务管理权限
公共参数
状态码
错误码
获取项目ID和名称
获取账号名和账号ID
获取用户名和用户ID
历史API
数据管理(旧版)
查询数据集列表
创建数据集
查询数据集详情
更新数据集
删除数据集
查询数据集的统计信息
查询数据集监控数据
查询数据集的版本列表
创建数据集标注版本
查询数据集版本详情
删除数据集标注版本
查询样本列表
批量添加样本
批量删除样本
查询单个样本信息
获取样本搜索条件
分页查询团队标注任务下的样本列表
查询团队标注的样本信息
查询数据集标签列表
创建数据集标签
批量修改标签
批量删除标签
按标签名称更新单个标签
按标签名称删除标签及仅包含此标签的文件
批量更新样本标签
查询数据集的团队标注任务列表
创建团队标注任务
查询团队标注任务详情
启动团队标注任务
更新团队标注任务
删除团队标注任务
创建团队标注验收任务
查询团队标注验收任务报告
更新团队标注验收任务状态
查询团队标注任务统计信息
查询团队标注任务成员的进度信息
团队成员查询团队标注任务列表
提交验收任务的样本评审意见
团队标注审核
批量更新团队标注样本的标签
查询标注团队列表
创建标注团队
查询标注团队详情
更新标注团队
删除标注团队
向标注成员发送邮件
查询所有团队的标注成员列表
查询标注团队的成员列表
创建标注团队的成员
批量删除标注团队成员
查询标注团队成员详情
更新标注团队成员
删除标注团队成员
查询数据集导入任务列表
创建导入任务
查询数据集导入任务的详情
查询数据集导出任务列表
创建数据集导出任务
查询数据集导出任务的状态
同步数据集
查询数据集同步任务的状态
查询智能标注的样本列表
查询单个智能标注样本的信息
分页查询智能任务列表
启动智能任务
获取智能任务的信息
停止智能任务
查询处理任务列表
创建处理任务
查询处理任务详情
更新处理任务
删除处理任务
开发环境(旧版)
创建开发环境实例
查询开发环境实例列表
查询开发环境实例详情
更新开发环境实例信息
删除开发环境实例
管理开发环境实例
训练管理(旧版)
训练作业
创建训练作业
查询训练作业列表
查询训练作业版本详情
删除训练作业版本
查询训练作业版本列表
创建训练作业版本
停止训练作业版本
更新训练作业描述
删除训练作业
获取训练作业日志的文件名
查询预置算法
查询训练作业日志
训练作业参数配置
创建训练作业参数
查询训练作业参数列表
更新训练作业参数
删除训练作业参数
查询训练作业参数详情
可视化作业
创建可视化作业
查询可视化作业列表
查询可视化作业详情
更新可视化作业描述
删除可视化作业
停止可视化作业
重启可视化作业
资源和引擎规格接口
查询作业资源规格
查询作业引擎规格
作业状态参考
修订记录
SDK参考
文档导读
SDK简介
快速开始
(可选)本地服务器安装ModelArts SDK
Session鉴权
(可选)Session鉴权
用户名密码认证模式
用户AK-SK认证模式
OBS管理
OBS管理概述
文件传输(推荐)
上传文件至OBS
上传文件夹至OBS
从OBS下载文件
从OBS下载文件夹
数据管理
数据集管理
查询数据集列表
创建数据集
查询数据集详情
更新数据集
删除数据集
数据集版本管理
查询数据集版本列表
创建数据集版本
查询数据集版本详情
删除数据集版本
样本管理
查询样本列表
查询单个样本详情
批量删除样本
导入任务管理
查询导入任务列表
创建导入任务
查询导入任务状态
导出任务管理
查询导出任务列表
创建导出任务
查询导出任务状态
Manifest管理
Manifest管理概述
解析Manifest文件
创建和保存Manifest文件
解析Pascal VOC文件
创建和保存Pascal VOC文件
标注任务管理
创建标注任务
查询数据集的标注任务列表
查询标注任务详情
训练管理
训练作业
创建训练作业
训练作业调测
使用SDK调测单机训练作业
使用SDK调测多机分布式训练作业
查询训练作业列表
查询训练作业详情
更新训练作业描述
删除训练作业
终止训练作业
查询训练日志
查询训练作业的运行指标
资源和引擎规格接口
查询资源规格列表
查询引擎规格列表
模型管理
模型调试
导入模型
查询模型列表
查询模型对象列表
查询模型详情
删除模型
服务管理
服务管理概述
在开发环境中部署本地服务进行调试
部署在线服务
查询服务详情
推理服务测试
查询服务列表
查询服务对象列表
更新服务配置
查询服务监控信息
查询服务日志
删除服务
常见问题
一般性问题
什么是ModelArts
ModelArts与其他服务的关系
ModelArts与DLS服务的区别?
如何购买或开通ModelArts?
如何获取访问密钥?
如何上传数据至OBS?
提示“上传的AK/SK不可用”,如何解决?
使用ModelArts时提示“权限不足”,如何解决?
如何用ModelArts训练基于结构化数据的模型?
什么是区域、可用区?
在ModelArts中如何查看OBS目录下的所有文件?
ModelArts数据集保存到容器的哪里?
ModelArts支持哪些AI框架?
ModelArts训练和推理分别对应哪些功能?
如何查看账号ID和IAM用户ID
ModelArts AI识别可以单独针对一个标签识别吗?
ModelArts如何通过标签实现资源分组管理
为什么资源充足还是在排队?
计费相关
如何查看ModelArts中正在收费的作业?
如何查看ModelArts消费详情?
ModelArts上传数据集收费吗?
ModelArts标注完样本集后,如何保证退出后不再产生计费?
ModelArts自动学习所创建项目一直在扣费,如何停止计费?
如果不再使用ModelArts,如何停止收费?
训练作业如何收费?
为什么项目删除完了,仍然还在计费?
Standard自动学习
功能咨询
什么是自动学习?
什么是图像分类和物体检测?
自动学习和订阅算法有什么区别?
准备数据
创建预测分析自动学习项目时,对训练数据有什么要求?
物体检测或图像分类项目支持对哪些格式的图片进行标注和训练?
创建项目
创建自动学习项目有个数限制吗?
创建项目的时候,数据集输入位置没有可选数据
数据标注
物体检测图片标注,一张图片是否可以添加多个标签?
在物体检测作业中上传已标注图片后,为什么部分图片显示未标注?
模型训练
创建图像分类自动学习项目并完成图片标注,训练按钮显示灰色,无法开始训练?
自动学习项目中,如何进行增量训练?
自动学习训练后的模型是否可以下载?
自动学习为什么训练失败?
自动学习模型训练图片异常?
自动学习使用子账号单击开始训练出现错误Modelarts.0010
自动学习中偏好设置的各参数训练速度大概是多少
自动学习声音分类预测报错ERROR:input key sound is not in model
部署上线
自动学习中部署上线是将模型部署为什么类型的服务?
Standard数据管理
添加图片时,图片大小有限制吗?
数据集图片无法显示,如何解决?
如何将多个物体检测的数据集合并成一个数据集?
导入数据集失败
表格类型的数据集如何标注
本地标注的数据,导入ModelArts需要做什么?
为什么通过Manifest文件导入失败?
标注结果存储在哪里?
如何将标注结果下载至本地?
团队标注时,为什么团队成员收不到邮件?
可以两个账号同时进行一个数据集的标注吗?
团队标注的数据分配机制是什么?
标注过程中,已经分配标注任务后,能否将一个labeler从标注任务中删除?删除后对标注结果有什么影响?如果不能删除labeler,能否删除将他的标注结果从整体标注结果中分离出来?
数据标注中,难例集如何定义?什么情况下会被识别为难例?
物体检测标注时,支持叠加框吗?
如何将两个数据集合并?
智能标注是否支持多边形标注?
团队标注的完成验收的各选项表示什么意思?
同一个账户,图片展示角度不同是为什么?
智能标注完成后新加入数据是否需要重新训练?
为什么在ModelArts数据标注平台标注数据提示标注保存失败?
标注多个标签,是否可针对一个标签进行识别?
使用数据处理的数据扩增功能后,新增图片没有自动标注
视频数据集无法显示和播放视频
使用样例的有标签的数据或者自己通过其他方式打好标签的数据放到OBS桶里,在modelarts中同步数据源以后看不到已标注,全部显示为未标注
如何使用soft NMS方法降低目标框堆叠度
ModelArts标注数据丢失,看不到标注过的图片的标签
如何将某些图片划分到验证集或者训练集?
物体检测标注时除了位置、物体名字,是否可以设置其他标签,比如是否遮挡、亮度等?
ModelArts数据管理支持哪些格式?
旧版数据集中的数据是否会被清理?
数据集版本管理找不到新建的版本
如何查看数据集大小
如何查看新版数据集的标注详情
标注数据如何导出
找不到新创建的数据集
数据集配额不正确
数据集如何切分
如何删除数据集图片
从AI Gallery下载到桶里的数据集,再在ModelArts里创建数据集,显示样本数为0
Standard Notebook
规格限制
是否支持sudo提权?
是否支持apt-get?
是否支持Keras引擎?
是否支持caffe引擎?
是否支持本地安装MoXing?
Notebook支持远程登录吗?
文件上传下载
如何在Notebook中上传下载OBS文件?
如何上传本地文件至Notebook?
如何导入大文件到Notebook中?
upload后,数据将上传到哪里?
如何下载Notebook中的文件到本地?
如何将开发环境Notebook A的数据复制到Notebook B中?
在Notebook中上传文件失败,如何解决?
动态挂载OBS并行文件系统成功,但是在Notebook的JupyterLab中无法看到本地挂载点
数据存储
如何对OBS的文件重命名?
Notebook停止或者重启后,“/cache”下的文件还存在么?如何避免重启?
如何使用pandas库处理OBS桶中的数据?
在Notebook中,如何访问其他账号的OBS桶?
JupyterLab默认工作路径是什么?
环境配置相关
如何查看Notebook使用的cuda版本?
如何打开ModelArts开发环境的Terminal功能?
如何在Notebook中安装外部库?
如何获取本机外网IP?
如何解决“在IOS系统里打开ModelArts的Notebook,字体显示异常”的问题?
Notebook有代理吗?如何关闭?
在Notebook中添加自定义IPython Kernel
Notebook实例常见错误
创建Notebook实例后无法打开页面,如何处理?
使用pip install时出现“没有空间”的错误
使用pip install提示Read timed out
出现“save error”错误,可以运行代码,但是无法保存
单击Notebook的打开按钮时报“请求超时”错误?
使用SSH工具连接Notebook,服务器的进程被清理了,GPU使用率显示还是100%
代码运行常见错误
Notebook无法执行代码,如何处理?
运行训练代码,出现dead kernel,并导致实例崩溃
如何解决训练过程中出现的cudaCheckError错误?
开发环境提示空间不足,如何解决?
如何处理使用opencv.imshow造成的内核崩溃?
使用Windows下生成的文本文件时报错找不到路径?
JupyterLab中文件保存失败,如何解决?
PyCharm Toolkit使用
安装ToolKit工具时出现错误,如何处理?
PyCharm ToolKit工具中Edit Credential时,出现错误
为什么无法启动训练?
提交训练作业时,出现xxx isn't existed in train_version错误
提交训练作业报错“Invalid OBS path”
使用PyCharm Toolkit提交训练作业报错NoSuchKey
部署上线时,出现错误
如何查看PyCharm ToolKit的错误日志
如何通过PyCharm ToolKit创建多个作业同时训练?
使用PyCharm ToolKit ,提示Error occurs when accessing to OBS
VS Code使用技巧
安装远端插件时不稳定,需尝试多次
Notebook实例重新启动后,需要删除本地known_hosts才能连接
使用VS Code调试代码时不能进入源码
使用VS Code提交代码时弹出对话框提示用户名和用户邮箱配置错误
实例重新启动后,Notebook内安装的插件丢失
VS Code中查看远端日志
打开VS Code的配置文件settings.json
VS Code背景配置为豆沙绿
VS Code中设置远端默认安装的插件
VS Code中把本地的指定插件安装到远端或把远端插件安装到本地
Notebook如何离线安装VS Code Server
VS Code连接开发环境失败常见问题
在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,未弹出VS Code窗口
在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,VS Code打开后未进行远程连接
VS Code连接开发环境失败时的排查方法
远程连接出现弹窗报错:Could not establish connection to xxx
连接远端开发环境时,一直处于"Setting up SSH Host xxx: Downloading VS Code Server locally"超过10分钟以上,如何解决?
连接远端开发环境时,一直处于"Setting up SSH Host xxx: Copying VS Code Server to host with scp"超过10分钟以上,如何解决?
连接远端开发环境时,一直处于"ModelArts Remote Connect: Connecting to instance xxx..."超过10分钟以上,如何解决?
远程连接处于retry状态如何解决?
报错“The VS Code Server failed to start”如何解决?
报错“Permissions for 'x:/xxx.pem' are too open”如何解决?
报错“Bad owner or permissions on C:\Users\Administrator/.ssh/config”或“Connection permission denied (publickey)”如何解决?
报错“ssh: connect to host xxx.pem port xxxxx: Connection refused”如何解决?
报错"ssh: connect to host ModelArts-xxx port xxx: Connection timed out"如何解决?
报错“Load key "C:/Users/xx/test1/xxx.pem": invalid format”如何解决?
报错“An SSH installation couldn't be found”或者“Could not establish connection to instance xxx: 'ssh' ...”如何解决?
报错“no such identity: C:/Users/xx /test.pem: No such file or directory”如何解决?
报错“Host key verification failed.'或者'Port forwarding is disabled.”如何解决?
报错“Failed to install the VS Code Server.”或“tar: Error is not recoverable: exitng now.”如何解决?
VS Code连接远端Notebook时报错“XHR failed”
VS Code连接后长时间未操作,连接自动断开
VS Code自动升级后,导致远程连接时间过长
使用SSH连接,报错“Connection reset”如何解决?
使用MobaXterm工具SSH连接Notebook后,经常断开或卡顿,如何解决?
VS Code连接开发环境时报错Missing GLIBC,Missing required dependencies
使用VSCode-huawei,报错:卸载了‘ms-vscode-remote.remot-sdh’,它被报告存在问题
在Notebook中使用自定义镜像常见问题
不在同一个主账号下,如何使用他人的自定义镜像创建Notebook?
更多功能咨询
在Notebook中,如何使用昇腾多卡进行调试?
使用Notebook不同的资源规格,为什么训练速度差不多?
使用MoXing时,如何进行增量训练?
在Notebook中如何查看GPU使用情况
如何在代码中打印GPU使用信息
Ascend上如何查看实时性能指标?
不启用自动停止,系统会自动停掉Notebook实例吗?会删除Notebook实例吗?
JupyterLab目录的文件、Terminal的文件和OBS的文件之间的关系
ModelArts中创建的数据集,如何在Notebook中使用
pip介绍及常用命令
开发环境中不同Notebook规格资源“/cache”目录的大小
开发环境如何实现IAM用户隔离?
资源超分对Notebook实例有什么影响?
在Notebook中使用tensorboard命令打开日志文件报错Permission denied
Standard训练作业
功能咨询
本地导入的算法有哪些格式要求?
欠拟合的解决方法有哪些?
旧版训练迁移至新版训练需要注意哪些问题?
ModelArts训练好后的模型如何获取?
AI引擎Scikit_Learn0.18.1的运行环境怎么设置?
TPE算法优化的超参数必须是分类特征(categorical features)吗
模型可视化作业中各参数的意义?
如何在ModelArts上获得RANK_TABLE_FILE进行分布式训练?
如何查询自定义镜像的cuda和cudnn版本?
Moxing安装文件如何获取?
多节点训练TensorFlow框架ps节点作为server会一直挂着,ModelArts是怎么判定训练任务结束?如何知道是哪个节点是worker呢?
训练作业的自定义镜像如何安装Moxing?
子用户使用专属资源池创建训练作业无法选择已有的SFS Turbo
训练过程读取数据
在ModelArts上训练模型,输入输出数据如何配置?
如何提升训练效率,同时减少与OBS的交互?
大量数据文件,训练过程中读取数据效率低?
使用Moxing时如何定义路径变量?
编写训练代码
训练模型时引用依赖包,如何创建训练作业?
训练作业常用文件路径是什么?
如何安装C++的依赖库?
训练作业中如何判断文件夹是否复制完毕?
如何在训练中加载部分训练好的参数?
训练作业的启动文件如何获取训练作业中的参数?
训练作业中使用os.system('cd xxx')无法进入相应的文件夹?
训练作业如何调用shell脚本,是否可以执行.sh文件?
训练代码中,如何获取依赖文件所在的路径?
自定义python包中如果引用model目录下的文件,文件路径怎么写
创建训练作业
创建训练作业时提示“对象目录大小/数量超过限制”,如何解决?
训练环境中不同规格资源“/cache”目录的大小
训练作业的“/cache”目录是否安全?
训练作业一直在等待中(排队)?
创建训练作业时,超参目录为什么有的是/work有的是/ma-user?
在ModelArts创建分布式训练时如何设置NCCL环境变量?
在ModelArts使用自定义镜像创建训练作业时如何激活conda环境?
管理训练作业版本
训练作业是否支持定时或周期调用?
查看作业详情
如何查看训练作业资源占用情况?
如何访问训练作业的后台?
两个训练作业的模型都保存在容器相同的目录下是否有冲突?
训练输出的日志只保留3位有效数字,是否支持更改loss值?
训练好的模型是否可以下载或迁移到其他账号?如何获取下载路径?
Standard推理部署
模型管理
导入模型
如何将Keras的.h5格式模型导入到ModelArts中
导入模型时,模型配置文件中的安装包依赖参数如何编写?
使用自定义镜像创建在线服务,如何修改默认端口
ModelArts平台是否支持多模型导入
导入AI应用对于镜像大小的限制
部署上线
功能咨询
ModelArts支持将模型部署为哪些类型的服务?
在线服务和批量服务有什么区别?
为什么选择不了Ascend Snt3资源?
线上训练得到的模型是否支持离线部署在本地?
服务预测请求体大小限制是多少?
在线服务部署是否支持包周期?
部署服务如何选择计算节点规格?
部署GPU服务支持的Cuda版本是多少?
在线服务
部署在线服务时,自定义预测脚本python依赖包出现冲突,导致运行出错
在线服务预测时,如何提高预测速度?
调整模型后,部署新版本AI应用能否保持原API接口不变?
在线服务的API接口组成规则是什么?
在线服务运行中但是预测失败时,如何排查报错是不是模型原因导致的
在线服务处于运行中状态时,如何填写推理请求的request header和request body
作为调用发起方的客户端无法访问已经获取到的推理请求地址
服务部署失败,报错ModelArts.3520,服务总数超限
配置了合理的服务部署超时时间,服务还是部署失败,无法启动
Standard资源池
ModelArts支持使用ECS创建专属资源池吗?
1个节点的专属资源池,能否部署多个服务?
专属资源池购买后,中途扩容了一个节点,如何计费?
共享池和专属池的区别是什么?
如何通过ssh登录专属资源池节点?
训练任务的排队逻辑是什么?
专属资源池下的在线服务停止后,启动新的在线服务,提示资源不足
算法运行时需要依赖鉴权服务,公共资源池是否支持两者打通网络?
创建失败的专属资源池删除后,控制台为什么还能看到?
训练专属资源池如何与SFS弹性文件系统配置对等链接?
API/SDK
ModelArts的API或SDK支持模型下载到本地吗?
ModelArts的SDK支持哪些安装环境?
ModelArts通过OBS的API访问OBS中的文件,算内网还是公网?
调用API提交训练作业后,能否绘制作业的资源占用率曲线?
使用SDK如何查看旧版专属资源池列表?
故障排除
通用问题
ModelArts中提示OBS路径错误
自动学习
准备数据
数据集版本发布失败
数据集版本不合格
模型训练
自动学习训练作业创建失败
自动学习训练作业失败
训练模型失败,报错:KMS.0314
部署上线
部署上线任务提交失败
部署上线失败
模型发布
模型发布任务提交失败
模型发布失败
开发环境
环境配置故障
Notebook提示磁盘空间已满
Notebook中使用Conda安装Keras 2.3.1报错
Notebook中安装依赖包报错ERROR: HTTP error 404 while getting xxx
Notebook中已安装对应库,仍报错import numba ModuleNotFoundError: No module named 'numba'
JupyterLab中文件保存失败,如何解决?
实例故障
创建Notebook失败,查看事件显示JupyterProcessKilled
创建Notebook实例后无法打开页面,如何处理?
使用pip install时出现“没有空间”的错误
出现“save error”错误,可以运行代码,但是无法保存
单击Notebook的打开按钮时报“请求超时”错误?
出现ModelArts.6333错误,如何处理?
打开Notebook实例提示token不存在或者token丢失如何处理?
代码运行故障
Notebook运行代码报错,在'/tmp'中到不到文件
Notebook无法执行代码,如何处理?
运行训练代码,出现dead kernel,并导致实例崩溃
如何解决训练过程中出现的cudaCheckError错误?
开发环境提示空间不足,如何解决?
如何处理使用opencv.imshow造成的内核崩溃?
使用Windows下生成的文本文件时报错找不到路径?
创建Notebook文件后,右上角的Kernel状态为“No Kernel”如何处理?
JupyterLab插件故障
git插件密码失效如何解决?
VS Code连接开发环境失败故障处理
Notebook如何离线安装VS Code Server
在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,未弹出VS Code窗口
在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,VS Code打开后未进行远程连接
VS Code连接开发环境失败时的排查方法
远程连接出现弹窗报错:Could not establish connection to xxx
连接远端开发环境时,一直处于"Setting up SSH Host xxx: Downloading VS Code Server locally"超过10分钟以上,如何解决?
连接远端开发环境时,一直处于"Setting up SSH Host xxx: Copying VS Code Server to host with scp"超过10分钟以上,如何解决?
连接远端开发环境时,一直处于"ModelArts Remote Connect: Connecting to instance xxx..."超过10分钟以上,如何解决?
远程连接处于retry状态如何解决?
报错“The VS Code Server failed to start”如何解决?
报错“Permissions for 'x:/xxx.pem' are too open”如何解决?
报错“Bad owner or permissions on C:\Users\Administrator/.ssh/config”或“Connection permission denied (publickey)”如何解决?
报错“ssh: connect to host xxx.pem port xxxxx: Connection refused”如何解决?
报错"ssh: connect to host ModelArts-xxx port xxx: Connection timed out"如何解决?
报错“Load key "C:/Users/xx/test1/xxx.pem": invalid format”如何解决?
报错“An SSH installation couldn't be found”或者“Could not establish connection to instance xxx: 'ssh' ...”如何解决?
报错“no such identity: C:/Users/xx /test.pem: No such file or directory”如何解决?
报错“Host key verification failed.'或者'Port forwarding is disabled.”如何解决?
报错“Failed to install the VS Code Server.”或“tar: Error is not recoverable: exitng now.”如何解决?
VS Code连接远端Notebook时报错“XHR failed”
VS Code连接后长时间未操作,连接自动断开
VS Code自动升级后,导致远程连接时间过长
使用SSH连接,报错“Connection reset”如何解决?
使用MobaXterm工具SSH连接Notebook后,经常断开或卡顿,如何解决?
VS Code连接开发环境时报错Missing GLIBC,Missing required dependencies
使用VSCode-huawei,报错:我们卸载了‘ms-vscode-remote.remot-sdh’,它被报告存在问题
自定义镜像故障
镜像保存时报错“there are processes in 'D' status, please check process status using 'ps -aux' and kill all the 'D' status processes”或“Buildimge,False,Error response from daemon,Cannot pause container xxx”如何解决?
镜像保存时报错“container size %dG is greater than threshold %dG”如何解决?
保存镜像时报错“too many layers in your image”如何解决?
镜像保存时报错“The container size (xG) is greater than the threshold (25G)”如何解决?
镜像保存时报错“BuildImage,True,Commit successfully|PushImage,False,Task is running.”
Notebook自定义镜像故障基础排查
其他故障
Notebook中无法打开“checkpoints”文件夹
创建新版Notebook无法使用已购买的专属资源池,如何解决?
在Notebook中使用tensorboard命令打开日志文件报错Permission denied
训练作业
OBS操作相关故障
读取文件报错,如何正确读取文件
TensorFlow-1.8作业连接OBS时反复出现提示错误
TensorFlow在OBS写入TensorBoard到达5GB时停止
保存模型时出现Unable to connect to endpoint错误
OBS复制过程中提示“BrokenPipeError: Broken pipe”
日志提示“ValueError: Invalid endpoint: obs.xxxx.com”
日志提示“errorMessage:The specified key does not exist”
云上迁移适配故障
无法导入模块
训练作业日志中提示“No module named .*”
如何安装第三方包,安装报错的处理方法
下载代码目录失败
训练作业日志中提示“No such file or directory”
训练过程中无法找到so文件
ModelArts训练作业无法解析参数,日志报错
训练输出路径被其他作业使用
Pytorch1.0引擎提示“RuntimeError: std::exception”
MindSpore日志提示“ retCode=0x91, [the model stream execute failed]”
使用moxing适配OBS路径,pandas读取文件报错
日志提示“Please upgrade numpy to >= xxx to use this pandas version”
重装的包与镜像装CUDA版本不匹配
创建训练作业提示错误码ModelArts.2763
训练作业日志中提示 “AttributeError: module '***' has no attribute '***'”
系统容器异常退出
硬盘限制故障
下载或读取文件报错,提示超时、无剩余空间
复制数据至容器中空间不足
Tensorflow多节点作业下载数据到/cache显示No space left
日志文件的大小达到限制
日志提示"write line error"
日志提示“No space left on device”
OOM导致训练作业失败
常见的磁盘空间不足的问题和解决办法
外网访问限制
日志提示“ Network is unreachable”
运行训练作业时提示URL连接超时
权限问题
训练作业访问OBS时,日志提示“stat:403 reason:Forbidden”
日志提示"Permission denied"
GPU相关问题
日志提示"No CUDA-capable device is detected"
日志提示“RuntimeError: connect() timed out”
日志提示“cuda runtime error (10) : invalid device ordinal at xxx”
日志提示“RuntimeError: Cannot re-initialize CUDA in forked subprocess”
训练作业找不到GPU
业务代码问题
日志提示“pandas.errors.ParserError: Error tokenizing data. C error: Expected .* fields”
日志提示“max_pool2d_with_indices_out_cuda_frame failed with error code 0”
训练作业失败,返回错误码139
训练作业失败,如何使用开发环境调试训练代码?
日志提示“ '(slice(0, 13184, None), slice(None, None, None))' is an invalid key”
日志报错“DataFrame.dtypes for data must be int, float or bool”
日志提示“CUDNN_STATUS_NOT_SUPPORTED. ”
日志提示“Out of bounds nanosecond timestamp”
日志提示“Unexpected keyword argument passed to optimizer”
日志提示“no socket interface found”
日志提示“Runtimeerror: Dataloader worker (pid 46212 ) is killed by signal: Killed BP”
日志提示“AttributeError: 'NoneType' object has no attribute 'dtype'”
日志提示“No module name 'unidecode'”
分布式Tensorflow无法使用“tf.variable”
MXNet创建kvstore时程序被阻塞,无报错
日志出现ECC错误,导致训练作业失败
超过最大递归深度导致训练作业失败
使用预置算法训练时,训练失败,报“bndbox”错误
训练作业状态显示“审核作业初始化”
训练作业进程异常退出
训练作业进程被kill
训练作业卡死
训练作业卡死检测定位
复制数据卡死
训练前卡死
训练中途卡死
训练最后一个epoch卡死
训练作业运行失败
训练作业运行失败排查指导
训练作业运行失败,出现NCCL报错
自定义镜像训练作业失败定位思路
使用自定义镜像创建的训练作业一直处于运行中
使用自定义镜像创建训练作业找不到启动文件
训练作业的监控内存指标持续升高直至作业失败
专属资源池创建训练作业
创建训练作业界面无云存储名称和挂载路径排查思路
创建训练作业时出现“实例挂卷失败”的事件
训练作业性能问题
训练作业性能降低
推理部署
AI应用管理
创建AI应用失败,如何定位和处理问题?
导入AI应用提示该账号受限或者没有操作权限
用户创建AI应用时构建镜像或导入文件失败
创建AI应用时,OBS文件目录对应镜像里面的目录结构是什么样的?
通过OBS导入AI应用时,如何编写打印日志代码才能在ModelArts日志查询界面看到日志
通过OBS创建AI应用时,构建日志中提示pip下载包失败
通过自定义镜像创建AI应用失败
导入AI应用后部署服务,提示磁盘不足
创建AI应用成功后,部署服务报错,如何排查代码问题
自定义镜像导入配置运行时依赖无效
通过API接口查询AI应用详情,model_name返回值出现乱码
导入AI应用提示模型或镜像大小超过限制
导入AI应用提示单个模型文件超过5G限制
创建AI应用失败,提示模型镜像构建任务超时,没有构建日志
服务部署
自定义镜像模型部署为在线服务时出现异常
部署的在线服务状态为告警
服务启动失败
服务部署、启动、升级和修改时,拉取镜像失败如何处理?
服务部署、启动、升级和修改时,镜像不断重启如何处理?
服务部署、启动、升级和修改时,容器健康检查失败如何处理?
服务部署、启动、升级和修改时,资源不足如何处理?
模型使用CV2包部署在线服务报错
服务状态一直处于“部署中”
服务启动后,状态断断续续处于“告警中”
服务部署失败,报错No Module named XXX
批量服务输入/输出obs目录不存在或者权限不足
部署在线服务出现报错No CUDA runtime is found
内存不足如何处理?
服务预测
服务预测失败
服务预测失败,报错APIG.XXXX
在线服务预测报错ModelArts.4206
在线服务预测报错ModelArts.4302
在线服务预测报错ModelArts.4503
在线服务预测报错MR.0105
在线服务预测报错ModelArts.2803
请求超时返回Timeout
自定义镜像导入模型部署上线调用API报错
在线服务预测报错DL.0105
MoXing
使用MoXing复制数据报错
如何关闭Mox的warmup
Pytorch Mox日志反复输出
moxing.tensorflow是否包含整个TensorFlow,如何对生成的checkpoint进行本地Fine Tune?
训练作业使用MoXing拷贝数据较慢,重复打印日志
MoXing如何访问文件夹并使用get_size读取文件夹大小?
API/SDK
安装ModelArts SDK报错“ERROR: Could not install packages due to an OSError”
ModelArts SDK下载文件目标路径设置为文件名,部署服务时报错
调用API创建训练作业,训练作业异常
资源池
创建资源池失败
Standard资源池节点故障定位
视频帮助
准备工作
注册华为账号并开通华为云
登录ModelArts管理控制台
配置访问授权(全局配置)
创建OBS桶
开通ModelArts资源
ModelArts资源简介
按需付费使用
开发环境(即将下线)
开发环境介绍
使用场景
管理Notebook实例
创建Notebook实例
打开Notebook实例
查找/启动/停止/删除实例
变更Notebook实例镜像
变更Notebook实例运行规格
开发环境中如何选择存储
动态挂载OBS并行文件系统
动态扩充云硬盘EVS容量
修改Notebook SSH远程连接配置
查看所有子账号的Notebook实例
查看Notebook实例事件
Notebook cache盘告警上报
JupyterLab
JupyterLab操作流程
JupyterLab简介及常用操作
代码参数化插件
使用ModelArts SDK
使用Git插件
可视化训练作业
可视化训练作业介绍
MindInsight可视化作业
TensorBoard可视化作业
Notebook中的数据上传下载
上传文件至JupyterLab
场景介绍
上传本地文件至JupyterLab
上传场景和入口介绍
上传本地小文件(100MB以内)至JupyterLab
上传本地大文件(100MB~5GB)至JupyterLab
上传本地超大文件(5GB以上)至JupyterLab
GitHub开源仓库Clone
上传OBS文件到JupyterLab
上传远端文件至JupyterLab
从JupyterLab下载文件至本地
本地IDE
本地IDE操作流程
本地IDE(PyCharm)
PyCharm Toolkit插件连接Notebook
PyCharm ToolKit介绍
下载并安装ToolKit工具
PyCharm ToolKit连接Notebook
PyCharm手动连接Notebook
PyCharm Toolkit提交训练作业
提交训练作业
停止训练作业
查看训练日志
在PyCharm中上传数据至Notebook
本地IDE(VS Code)
VS Code连接Notebook方式介绍
安装VS Code软件
VS Code ToolKit连接Notebook
VS Code手动连接Notebook
在VS Code中远程调试代码
在VS Code中上传下载文件
本地IDE(SSH工具连接)
ModelArts CLI命令参考
ModelArts CLI命令功能介绍
(可选)本地安装ma-cli
ma-cli auto-completion自动补全命令
ma-cli configure鉴权命令
使用ma-cli image构建镜像
ma-cli image镜像构建支持的命令
使用ma-cli image get-template命令查询镜像构建模板
使用ma-cli image add-template命令加载镜像构建模板
使用ma-cli image get-image查询ModelArts已注册镜像
使用ma-cli image build命令在ModelArts Notebook中进行镜像构建
使用ma-cli image df命令在ModelArts Notebook中查询镜像构建缓存
使用ma-cli image prune命令在ModelArts Notebook中清理镜像构建缓存
使用ma-cli image register命令注册SWR镜像到ModelArts镜像管理
使用ma-cli image unregister命令取消ModelArts中的已注册镜像
在ECS上调试SWR镜像是否能在ModelArts Notebook中使用
使用ma-cli ma-job命令提交ModelArts训练作业
ma-cli ma-job训练作业支持的命令
使用ma-cli ma-job get-job命令查询ModelArts训练作业
使用ma-cli ma-job submit命令提交ModelArts训练作业
使用ma-cli ma-job get-log命令查询ModelArts训练作业日志
使用ma-cli ma-job get-event命令查询ModelArts训练作业事件
使用ma-cli ma-job get-engine命令查询ModelArts训练AI引擎
使用ma-cli ma-job get-flavor命令查询ModelArts训练资源规格
使用ma-cli ma-job stop命令停止ModelArts训练作业
使用ma-cli dli-job命令提交DLI Spark作业
ma-cli dli-job提交DLI Spark作业支持的命令
使用ma-cli dli-job get-job命令查询DLI Spark作业
使用ma-cli dli-job submit命令提交DLI Spark作业
使用ma-cli dli-job get-log命令查询DLI Spark运行日志
使用ma-cli dli-job get-queue命令查询DLI 队列
使用ma-cli dli-job get-resource命令查询DLI 分组资源
使用ma-cli dli-job upload命令上传文件到DLI分组资源
使用ma-cli dli-job stop命令停止DLI Spark作业
使用ma-cli obs-copy命令复制OBS数据
数据准备与分析
数据准备简介
入门教程
创建数据集
数据集简介
创建数据集
修改数据集
数据接入
数据接入简介
从OBS导入数据
OBS导入数据简介
OBS目录导入操作
OBS目录导入数据规范说明
Manifest文件导入操作
Manifest文件导入规范说明
从DLI导入数据
从MRS导入数据
从DWS导入数据
从本地上传数据
数据分析与预览
自动分组
数据筛选
数据特征分析
数据标注
数据发布
数据发布简介
发布数据版本
管理数据版本
数据导出
数据导出简介
导出数据为新数据集
导出数据到OBS
数据标注
数据标注简介
人工标注
创建标注作业
图片标注
图像分类
物体检测
图像分割
文本标注
文本分类
命名实体
文本三元组
音频标注
声音分类
语音内容
语音分割
视频标注
查看标注作业
查看创建的作业
查看参与标注的作业
智能标注
创建智能标注作业
难例确认
团队标注
团队标注简介
创建和管理团队
管理团队
管理成员
创建团队标注任务
登录ModelArts-Console
启动团队标注任务
审核团队标注任务结果
验收团队标注任务结果
模型训练
模型开发简介
准备数据
准备算法
准备算法简介
使用预置框架(自定义脚本)
使用预置框架简介
开发自定义脚本
创建算法
使用自定义镜像
查看算法详情
查找算法
删除算法
完成一次训练
创建训练作业
查看训练作业详情
查看训练作业事件
查看训练作业日志
什么是训练作业日志
普通日志说明
如何查看训练作业日志
如何通过训练日志定位问题
Cloud Shell
使用Cloud Shell登录训练容器
如何训练作业保持运行中状态
如何防止Cloud Shell的Session断开
查看训练作业资源利用率
评估训练结果
查看训练标签
查看故障恢复详情
查看训练容器环境变量
停止、重建或查找作业
清除训练作业资源
训练进阶
训练故障自动恢复
训练容错检查
无条件自动重启
断点续训练和增量训练
训练作业卡死检测
修改训练作业优先级
设置作业为高优先级权限
分布式训练
分布式训练功能介绍
单机多卡数据并行-DataParallel(DP)
多机多卡数据并行-DistributedDataParallel(DDP)
分布式调测适配及代码示例
分布式训练完整代码示例
基于训练作业启动PyTorch DDP训练示例
自动模型优化(AutoSearch)
超参搜索简介
搜索算法
贝叶斯优化(SMAC)
TPE算法
模拟退火算法(Anneal)
创建超参搜索作业
推理部署(即将下线)
推理简介
管理AI应用
管理AI应用简介
创建AI应用
从训练中选择元模型
从模板中选择元模型
从对象存储服务(OBS)中选择元模型
从容器镜像中选择元模型
查看AI应用列表
查看AI应用详情
管理AI应用版本
查看AI应用的事件
部署AI应用(部署上线)
部署AI应用(在线服务)
部署为在线服务
查看服务详情
测试服务
访问在线服务
访问在线服务简介
认证方式
访问在线服务(Token认证)
访问在线服务(AK/SK认证)
访问在线服务(APP认证)
访问方式
访问在线服务(公网访问通道)
访问在线服务(VPC高速访问通道)
WebSocket访问在线服务
Server-Sent Events访问在线服务
集成在线服务
CloudShell
部署AI应用(批量服务)
部署为批量服务
查看批量服务详情
查看批量服务预测结果
修改服务
启动、停止、删除、重启服务
查看服务的事件
推理规范说明
模型包规范
模型包规范介绍
模型配置文件编写说明
模型推理代码编写说明
模型模板
模型模板简介
模板说明
TensorFlow图像分类模板
TensorFlow-py27通用模板
TensorFlow-py36通用模板
MXNet-py27通用模板
MXNet-py36通用模板
PyTorch-py27通用模板
PyTorch-py36通用模板
Caffe-CPU-py27通用模板
Caffe-GPU-py27通用模板
Caffe-CPU-py36通用模板
Caffe-GPU-py36通用模板
ARM-Ascend模板
输入输出模式说明
预置物体检测模式
预置图像处理模式
预置预测分析模式
未定义模式
自定义脚本代码示例
TensorFlow
TensorFlow 2.1
PyTorch
Caffe
XGBoost
Pyspark
Scikit Learn
云监控平台ModelArts监控
ModelArts支持的监控指标
设置告警规则
查看监控指标
镜像管理(即将下线)
镜像管理
ModelArts支持的预置镜像列表
统一镜像介绍
Notebook基础镜像介绍
Notebook基础镜像功能
Notebook基础镜像列表
Notebook基础镜像x86 PyTorch
Notebook基础镜像x86 Tensorflow
Notebook基础镜像x86 MindSpore
Notebook基础镜像x86 自定义专用镜像
训练专属预置镜像列表
训练基础镜像列表
训练基础镜像详情(PyTorch)
训练基础镜像详情(TensorFlow)
训练基础镜像详情(Horovod)
训练基础镜像详情(MPI)
预置框架启动流程说明
PyTorch
Tensorflow
Horovod/MPI/MindSpore-GPU
推理基础镜像介绍
推理基础镜像列表
推理基础镜像详情TensorFlow(CPU/GPU)
推理基础镜像详情Pytorch(CPU/GPU)
推理基础镜像详情MindSpore(CPU/GPU)
制作自定义镜像用于创建Notebook
Notebook的自定义镜像制作方法
在ModelArts中进行镜像注册
Notebook制作自定义镜像方法
将Notebook实例保存为自定义镜像
保存Notebook镜像环境
基于自定义镜像创建Notebook实例
在Notebook中构建自定义镜像并使用
使用场景和构建流程说明
Step1 制作自定义镜像
Step2 注册新镜像
Step3 创建开发环境并使用
在ECS上构建自定义镜像并在Notebook中使用
使用场景和构建流程说明
Step1 准备Docker机器并配置环境信息
Step2 制作自定义镜像
Step3 注册新镜像
Step4 创建开发环境并使用
Notebook自定义镜像故障基础排查
制作自定义镜像用于训练模型
模型训练中使用自定义镜像介绍
示例:从0到1制作自定义镜像并用于训练
从0制作自定义镜像用于创建训练作业(PyTorch+CPU/GPU)
从0制作自定义镜像用于创建训练作业(MPI+CPU/GPU)
示例:从0到1制作自定义镜像并用于训练(Horovod-PyTorch+GPU)
示例:从0到1制作自定义镜像并用于训练(MindSpore+GPU)
从0制作自定义镜像用于创建训练作业(Tensorflow+GPU)
准备训练镜像
训练作业自定义镜像规范
已有镜像如何适配迁移至ModelArts训练平台
使用基础镜像构建新的训练镜像
在容器镜像中安装MLNX_OFED
使用自定义镜像创建算法
使用自定义镜像创建训练作业(CPU/GPU)
自定义镜像训练作业失败定位思路
使用自定义镜像创建AI应用(推理部署)
创建AI应用的自定义镜像规范
从0-1制作自定义镜像并创建AI应用
FAQ
如何登录并上传镜像到SWR
如何给镜像设置环境变量
如何通过docker启动Notebook保存后的镜像
如何在Notebook开发环境中配置Conda源
自定义镜像软件版本匹配注意事项
镜像在SWR上显示只有13G,安装少量的包,然后镜像保存过程会提示超过35G大小保存失败,为什么?
镜像保存如何保证能正常保存,不会因为超过35G而保存失败?
本地/ECS构建镜像,如何减小目的镜像的大小?
镜像过大,卸载原来的包重新打包镜像,或者把原有的数据集从镜像中删除,最终镜像会变小吗?
在ModelArts镜像管理注册镜像报错ModelArts.6787
修订记录
资源管理
资源池介绍
弹性集群
ModelArts资源池管理功能全面升级
创建资源池
查看资源池详情
扩缩容资源池
设置续费策略
调整到期策略
工作空间迁移
修改资源池作业类型
资源池驱动升级
删除资源池
资源池异常处理
ModelArts网络
ModelArts节点
审计日志
支持云审计的关键操作
查看审计日志
资源监控
概述
使用Grafana查看AOM中的监控指标
操作流程
安装配置Grafana
在Windows上安装配置Grafana
在Linux上安装配置Grafana
在Notebook上安装配置Grafana
配置Grafana数据源
使用Grafana配置Dashboards,查看指标数据
在AOM控制台查看ModelArts所有监控指标
通用参考
云服务等级协议(SLA)
白皮书资源
支持区域
系统权限