AI开发平台ModelArts
AI开发平台ModelArts
本产品内“
”的所有结果
本产品内“
”的所有结果
最新动态
功能总览
服务公告
下线公告
【下线公告】华为云ModelArts自动学习下线公告
【下线公告】华为云ModelArts自动学习模块的文本分类功能下线公告
【下线公告】华为云ModelArts服务旧版数据集下线公告
【下线公告】华为云ModelArts服务旧版训练管理下线公告
【下线公告】华为云ModelArts服务模型转换下线公告
【下线公告】华为云ModelArts MindStudio/ML Studio/ModelBox镜像下线公告
【下线公告】华为云ModelArts算法套件下线公告
产品发布说明
昇腾云服务6.3.911版本说明
昇腾云服务6.3.910版本说明(推荐)
昇腾云服务6.3.909版本说明
昇腾云服务6.3.908版本说明
昇腾云服务6.3.907版本说明
昇腾云服务6.3.906版本说明
昇腾云服务6.3.905版本说明
昇腾云服务6.3.904版本说明
产品变更公告
网络调整公告
预测API的域名停用公告
产品介绍
图解ModelArts
初识ModelArts
初识Workflow
什么是ModelArts
产品优势
应用场景
功能介绍
Standard功能介绍
Standard自动学习
Standard Workflow
Standard数据管理
Standard开发环境
Standard模型训练
Standard模型部署
Standard资源管理
Standard支持的AI框架
MaaS大模型即服务平台功能介绍
Lite功能介绍
AI Gallery功能介绍
AI开发基础知识
AI开发基本流程介绍
AI开发基本概念
ModelArts中常用概念
安全
责任共担
资产识别与管理
身份认证与访问控制
数据保护技术
审计与日志
服务韧性
监控安全风险
故障恢复
更新管理
认证证书
安全边界
约束与限制
权限管理
计费说明
配额与限制
与其他云服务的关系
计费说明
计费模式
ModelArts计费模式概述
包年/包月
按需计费
套餐包
计费项
自动学习/Workflow计费项
数据管理计费项
开发环境计费项
模型训练计费项
模型管理计费项
推理部署计费项
专属资源池计费项
计费样例
变更计费模式
续费
续费概述
手动续费
自动续费
费用账单
欠费说明
停止计费
成本管理
计费FAQ
如何查看ModelArts中正在收费的作业?
如何查看ModelArts消费详情?
如果不再使用ModelArts,如何停止收费?
为什么项目删除完了,仍然还在计费?
欠费后,ModelArts的资源是否会被删除?
ModelArts Standard数据管理相关计费FAQ
ModelArts Standard自动学习所创建项目一直在扣费,如何停止计费?
ModelArts Standard训练作业和模型部署如何收费?
快速入门
ModelArts入门指引
使用ModelArts Standard一键完成商超商品识别模型部署
使用ModelArts Standard自动学习实现垃圾分类
使用ModelArts Standard自定义算法实现手写数字识别
使用ModelArts Studio的Qwen2-7B模型框架实现对话问答
ModelArts入门实践
ModelArts用户指南(Standard)
ModelArts Standard使用流程
ModelArts Standard准备工作
配置ModelArts Standard访问授权
快速配置ModelArts委托授权
创建IAM用户并授权使用ModelArts
创建并管理工作空间
创建OBS桶用于ModelArts存储数据
ModelArts Standard资源管理
Standard资源池功能介绍
创建Standard专属资源池
管理Standard专属资源池
查看Standard专属资源池详情
扩缩容Standard专属资源池
升级Standard专属资源池驱动
修复Standard专属资源池故障节点
修改Standard专属资源池支持的作业类型
迁移Standard专属资源池和网络至其他工作空间
配置Standard专属资源池可访问公网
使用TMS标签实现资源分组管理
管理Standard专属资源池的游离节点
释放Standard专属资源池和删除网络
使用自动学习实现零代码AI开发
自动学习简介
使用自动学习实现图像分类
准备图像分类数据
创建图像分类项目
标注图像分类数据
训练图像分类模型
部署图像分类服务
使用自动学习实现物体检测
准备物体检测数据
创建物体检测项目
标注物体检测数据
训练物体检测模型
部署物体检测服务
使用自动学习实现预测分析
准备预测分析数据
创建预测分析项目
训练预测分析模型
部署预测分析服务
使用自动学习实现声音分类
准备声音分类数据
创建声音分类项目
标注声音分类数据
训练声音分类模型
部署声音分类服务
使用自动学习实现文本分类
准备文本分类数据
创建文本分类项目
标注文本分类数据
训练文本分类模型
部署文本分类服务
使用窍门
创建项目时,如何快速创建OBS桶及文件夹?
自动学习生成的模型,存储在哪里?支持哪些其他操作?
使用Workflow实现低代码AI开发
什么是Workflow
运行第一条Workflow
管理Workflow
查找Workflow工作流
查看Workflow工作流运行记录
管理Workflow工作流
重试/停止/运行Workflow节点
开发第一条Workflow
开发Workflow命令参考
开发Workflow的核心概念介绍
配置Workflow参数
配置Workflow的输入输出目录
创建Workflow节点
创建Workflow数据集节点
创建Workflow数据集标注节点
创建Workflow数据集导入节点
创建Workflow数据集版本发布节点
创建Workflow训练作业节点
创建Workflow模型注册节点
创建Workflow服务部署节点
构建Workflow多分支运行场景
Workflow多分支运行介绍
构建条件节点控制分支执行
配置节点参数控制分支执行
配置多分支节点数据
编排Workflow
发布Workflow
发布Workflow到ModelArts
发布Workflow到AI Gallery
在Workflow中更新已部署的服务
Workflow高阶能力
在Workflow中使用大数据能力(DLI/MRS)
在Workflow中指定仅运行部分节点
使用Notebook进行AI开发调试
Notebook使用场景
创建Notebook实例
通过JupyterLab在线使用Notebook实例进行AI开发
使用JupyterLab在线开发和调试代码
JupyterLab常用功能介绍
在JupyterLab使用Git克隆代码仓
在JupyterLab中创建定时任务
上传文件至JupyterLab
上传本地文件至JupyterLab
克隆GitHub开源仓库文件到JupyterLab
上传OBS文件到JupyterLab
上传远端文件至JupyterLab
下载JupyterLab文件到本地
在JupyterLab中使用MindInsight可视化作业
在JupyterLab中使用TensorBoard可视化作业
通过PyCharm远程使用Notebook实例
使用PyCharm Toolkit插件连接Notebook
使用PyCharm手动连接Notebook
使用PyCharm上传数据至Notebook
通过VS Code远程使用Notebook实例
VS Code连接Notebook方式介绍
安装VS Code软件
VS Code一键连接Notebook
VS Code ToolKit连接Notebook
VS Code手动连接Notebook
在VS Code中上传下载文件
通过SSH工具远程使用Notebook
管理Notebook实例
查找Notebook实例
更新Notebook实例
启动/停止/删除实例
保存Notebook实例
动态扩充云硬盘EVS容量
动态挂载OBS并行文件系统
查看Notebook实例事件
Notebook Cache盘告警上报
使用CodeLab免费体验Notebook
ModelArts CLI命令参考
ModelArts CLI命令功能介绍
(可选)本地安装ma-cli
ma-cli auto-completion自动补全命令
ma-cli configure鉴权命令
ma-cli image镜像构建支持的命令
ma-cli ma-job训练作业支持的命令
ma-cli dli-job提交DLI Spark作业支持的命令
使用ma-cli obs-copy命令复制OBS数据
在Notebook中使用Moxing命令
MoXing Framework功能介绍
Notebook中快速使用MoXing
mox.file与本地接口的对应关系和切换
MoXing常用操作的样例代码
MoXing进阶用法的样例代码
数据准备与处理
数据准备使用流程
创建ModelArts数据集
导入数据到ModelArts数据集
数据导入方式介绍
从OBS导入数据到ModelArts数据集
从OBS导入数据到数据集场景介绍
从OBS目录导入数据到数据集
从Manifest文件导入数据到数据集
从OBS目录导入数据规范说明
从Manifest文件导入规范说明
从DWS导入数据到ModelArts数据集
从DLI导入数据到ModelArts数据集
从MRS导入数据到ModelArts数据集
从本地上传数据到ModelArts数据集
处理ModelArts数据集中的数据
数据处理场景介绍
创建ModelArts数据校验任务
创建ModelArts数据清洗任务
创建ModelArts数据选择任务
创建ModelArts数据增强任务
管理和查看数据处理任务
标注ModelArts数据集中的数据
数据标注场景介绍
通过人工标注方式标注数据
创建ModelArts人工标注作业
人工标注图片数据
人工标注文本数据
人工标注音频数据
人工标注视频数据
管理标注数据
通过智能标注方式标注数据
创建智能标注作业
确认智能标注作业的数据难例
使用自动分组智能标注作业
通过团队标注方式标注数据
团队标注使用流程
创建和管理团队
创建团队标注任务
审核并验收团队标注任务结果
管理团队和团队成员
管理标注作业
发布ModelArts数据集中的数据版本
分析ModelArts数据集中的数据特征
导出ModelArts数据集中的数据
导出ModelArts数据集中的数据到OBS
导出ModelArts数据集中的数据为新数据集
导出ModelArts数据集中的数据到AI Gallery
入门案例:快速创建一个物体检测的数据集
使用ModelArts Standard训练模型
模型训练使用流程
准备模型训练代码
预置框架启动文件的启动流程说明
开发用于预置框架训练的代码
开发用于自定义镜像训练的代码
自定义镜像训练作业配置节点间SSH免密互信
准备模型训练镜像
创建调试训练作业
使用PyCharm ToolKit创建并调试训练作业
使用VS Code创建并调试训练作业
创建算法
创建生产训练作业
分布式模型训练
分布式训练功能介绍
创建单机多卡的分布式训练(DataParallel)
创建多机多卡的分布式训练(DistributedDataParallel)
示例:创建DDP分布式训练(PyTorch+GPU)
示例:创建DDP分布式训练(PyTorch+NPU)
模型训练存储加速
增量模型训练
自动模型优化(AutoSearch)
自动模型优化介绍
创建自动模型优化的训练作业
模型训练高可靠性
训练作业容错检查
训练日志失败分析
训练作业卡死检测
训练作业重调度
设置断点续训练
设置无条件自动重启
管理模型训练作业
查看训练作业详情
查看训练作业资源占用情况
查看模型评估结果
查看训练作业事件
查看训练作业日志
修改训练作业优先级
使用Cloud Shell调试生产训练作业
重建、停止或删除训练作业
管理训练容器环境变量
查看训练作业标签
使用ModelArts Standard部署模型并推理预测
推理部署使用场景
创建模型
创建模型不同方式的场景介绍
从训练作业中导入模型文件创建模型
从OBS中导入模型文件创建模型
从容器镜像中导入模型文件创建模型
从AI Gallery订阅模型
创建模型规范参考
模型包结构介绍
模型配置文件编写说明
模型推理代码编写说明
自定义引擎创建模型规范
自定义脚本代码示例
将模型部署为实时推理作业
实时推理的部署及使用流程
部署模型为在线服务
访问在线服务支持的认证方式
通过Token认证的方式访问在线服务
通过AK/SK认证的方式访问在线服务
通过APP认证的方式访问在线服务
访问在线服务支持的访问通道
通过公网访问通道的方式访问在线服务
通过VPC访问通道的方式访问在线服务
通过VPC高速访问通道的方式访问在线服务
访问在线服务支持的传输协议
使用WebSocket协议的方式访问在线服务
使用Server-Sent Events协议的方式访问在线服务
将模型部署为批量推理服务
管理ModelArts模型
查看ModelArts模型详情
查看ModelArts模型事件
管理ModelArts模型版本
发布ModelArts模型
管理同步在线服务
查看在线服务详情
查看在线服务的事件
管理在线服务生命周期
修改在线服务配置
在云监控平台查看在线服务性能指标
集成在线服务API至生产环境中应用
设置在线服务故障自动重启
管理批量推理作业
查看批量服务详情
查看批量服务的事件
管理批量服务生命周期
修改批量服务配置
制作自定义镜像用于ModelArts Standard
自定义镜像使用场景
ModelArts支持的预置镜像列表
ModelArts预置镜像更新说明
ModelArts统一镜像列表
Notebook专属预置镜像列表
训练专属预置镜像列表
推理专属预置镜像列表
制作自定义镜像用于创建Notebook
Notebook的自定义镜像制作方法
在ECS上构建自定义镜像并在Notebook中使用
在Notebook中通过Dockerfile从0制作自定义镜像
在Notebook中通过镜像保存功能制作自定义镜像
制作自定义镜像用于训练模型
训练作业的自定义镜像制作流程
使用预置镜像制作自定义镜像用于训练模型
已有镜像迁移至ModelArts用于训练模型
从0制作自定义镜像用于创建训练作业(Pytorch+Ascend)
从0制作自定义镜像用于创建训练作业(PyTorch+CPU/GPU)
从0制作自定义镜像用于创建训练作业(MPI+CPU/GPU)
从0制作自定义镜像用于创建训练作业(Tensorflow+GPU)
从0制作自定义镜像用于创建训练作业(MindSpore+Ascend)
制作自定义镜像用于推理
模型的自定义镜像制作流程
在Notebook中通过镜像保存功能制作自定义镜像用于推理
在Notebook中通过Dockerfile从0制作自定义镜像用于推理
在ECS中通过Dockerfile从0制作自定义镜像用于推理
ModelArts Standard资源监控
ModelArts Standard资源监控概述
在ModelArts控制台查看监控指标
在AOM控制台查看ModelArts所有监控指标
使用Grafana查看AOM中的监控指标
安装配置Grafana
在Windows上安装配置Grafana
在Linux上安装配置Grafana
在Notebook上安装配置Grafana
配置Grafana数据源
配置仪表盘查看指标数据
使用CTS审计ModelArts服务
ModelArts支持云审计的关键操作
查看ModelArts相关审计日志
ModelArts用户指南(Studio)
MaaS使用场景和使用流程
配置MaaS访问授权
配置ModelArts委托授权
创建IAM用户并授权使用MaaS
准备MaaS资源
在模型广场查看模型
在MaaS中创建模型
使用MaaS调优模型
使用MaaS压缩模型
使用MaaS部署模型服务
免费体验MaaS预置服务
在MaaS体验模型服务
调用MaaS部署的模型服务
通过Function Calling扩展大语言模型交互能力
Function Calling介绍
在Dify中配置支持Function Calling的模型使用
通过Function Calling扩展大语言模型对外部环境的理解
管理我的服务
扩缩容模型服务实例数
修改模型服务QPS
升级模型服务
在MaaS应用实践中心查看应用解决方案
ModelArts用户指南(Lite Server)
Lite Server使用前必读
Lite Server使用流程
Lite Server高危操作一览表
Lite Server算力资源和镜像版本配套关系
Lite Server资源开通
Lite Server资源配置
Lite Server资源配置流程
配置Lite Server网络
配置Lite Server存储
配置Lite Server软件环境
NPU服务器上配置Lite Server资源软件环境
GPU服务器上配置Lite Server资源软件环境
Lite Server资源使用
LLM/AIGC/数字人基于Server适配NPU的训练推理指导
GPT-2基于Server适配PyTorch GPU的训练推理指导
Lite Server资源管理
查看Lite Server服务器详情
启动或停止Lite Server服务器
同步Lite Server服务器状态
切换Lite Server服务器操作系统
监控Lite Server资源
使用CES监控Lite Server资源
使用DCGM监控Lite Server资源
NPU日志收集上传
释放Lite Server资源
ModelArts用户指南(Lite Cluster)
Lite Cluster使用前必读
Lite Cluster使用流程
Lite Cluster高危操作一览表
不同机型的对应的软件配套版本
Lite Cluster资源开通
Lite Cluster资源配置
Lite Cluster资源配置流程
配置Lite Cluster网络
配置kubectl工具
配置Lite Cluster存储
(可选)配置驱动
(可选)配置镜像预热
Lite Cluster资源使用
在Lite Cluster资源池上使用Snt9B完成分布式训练任务
在Lite Cluster资源池上使用ranktable路由规划完成Pytorch NPU分布式训练
在Lite Cluster资源池上使用Snt9B完成推理任务
Lite Cluster资源管理
Lite Cluster资源管理介绍
管理Lite Cluster资源池
管理Lite Cluster节点池
管理Lite Cluster节点
扩缩容Lite Cluster资源池
升级Lite Cluster资源池驱动
升级Lite Cluster资源池单个节点驱动
管理Lite Cluster资源池的游离节点
监控Lite Cluster资源
使用AOM查看Lite Cluster监控指标
使用Prometheus查看Lite Cluster监控指标
释放Lite Cluster资源
ModelArts用户指南(AI Gallery)
AI Gallery(新版)
AI Gallery使用流程
发布和管理AI Gallery模型
构建模型
自定义模型规范
自定义镜像规范
使用AI Gallery SDK构建自定义模型
托管模型到AI Gallery
发布模型到AI Gallery
管理AI Gallery模型
发布和管理AI Gallery数据集
托管数据集到AI Gallery
发布数据集到AI Gallery
管理AI Gallery数据集
发布和管理AI Gallery项目
发布和管理AI Gallery镜像
托管镜像到AI Gallery
发布镜像到AI Gallery
管理AI Gallery镜像
发布和管理AI Gallery中的AI应用
发布本地AI应用到AI Gallery
将AI Gallery中的模型部署为AI应用
管理AI Gallery中的AI应用
使用AI Gallery微调大师训练模型
使用AI Gallery在线推理服务部署模型
Gallery CLI配置工具指南
安装Gallery CLI配置工具
使用Gallery CLI配置工具下载文件
使用Gallery CLI配置工具上传文件
计算规格说明
AI Gallery(旧版)
AI Gallery简介
免费资产和商用资产
入驻AI Gallery
我的Gallery介绍
订阅使用
查找和收藏资产
订阅免费算法
订阅免费模型
下载数据
使用Notebook代码样例
使用镜像
使用AI案例
订阅Workflow
发布分享
发布免费算法
发布免费模型
发布数据
发布Notebook
参加活动
报名实践活动(实践)
发布技术文章(AI说)
合作伙伴
注册伙伴
发布解决方案
需求广场
发布需求
最佳实践
ModelArts最佳实践案例列表
昇腾能力应用地图
LLM大语言模型训练推理
在ModelArts Studio基于Qwen2-7B模型实现新闻自动分类
主流开源大模型基于Server适配PyTorch NPU推理指导(6.3.911)
推理场景介绍
部署推理服务
非分离部署推理服务
分离部署推理服务
推理性能测试
语言模型推理性能测试
多模态模型推理性能测试
推理精度测试
推理模型量化
使用AWQ量化
使用SmoothQuant量化
使用kv-cache-int8量化
使用GPTQ量化
使用llm-compressor工具量化
Eagle投机小模型训练
附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
附录:大模型推理常见问题
主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.911)
场景介绍
准备工作
准备资源
准备权重
准备代码
准备镜像
准备Notebook
在Notebook调试环境中部署推理服务
在推理生产环境中部署推理服务
推理精度测试
推理性能测试
推理模型量化
使用AWQ量化工具转换权重
使用SmoothQuant量化工具转换权重
使用kv-cache-int8量化
使用GPTQ量化
Eagle投机小模型训练
附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
附录:大模型推理常见问题
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导(6.3.911)
推理场景介绍
准备工作
准备环境
准备代码
准备镜像
部署推理服务
推理性能测试
推理精度测试
推理模型量化
使用AWQ量化
使用SmoothQuant量化
使用kv-cache-int8量化
使用GPTQ量化
Eagle投机小模型训练
附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
附录:大模型推理常见问题
附录:工作负载Pod异常问题和解决方法
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.911)
场景介绍
准备工作
准备环境
准备代码
准备数据
准备镜像
执行预训练任务
执行SFT全参微调训练任务
执行LoRA微调训练任务
查看日志和性能
训练脚本说明参考
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练中的权重转换说明
训练tokenizer文件说明
离线训练安装包准备说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
保存ckpt时超时报错
主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.911)
场景介绍
准备工作
准备环境
准备代码
准备镜像环境
DockerFile构建镜像(可选)
准备数据(可选)
执行训练任务
查看日志和性能
训练benchmark工具
工具介绍及准备工作
训练性能测试
训练精度测试
训练脚本说明
Yaml配置文件参数配置说明
模型NPU卡数、梯度累积值取值表
各个模型训练前文件替换
NPU_Flash_Attn融合算子约束
BF16和FP16说明
录制Profiling
附录:训练常见问题
主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.911)
场景介绍
准备工作
准备资源
准备数据
准备权重
准备代码
准备镜像
镜像方案说明
ECS获取和上传基础镜像
使用基础镜像
ECS中构建新镜像
准备Notebook(可选)
预训练
SFT全参微调训练
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导(6.3.911)
场景介绍
准备工作
准备资源
准备数据
准备权重
准备代码
准备镜像
镜像方案说明
ECS获取和上传基础镜像
使用基础镜像
ECS中构建新镜像
预训练
SFT全参微调训练
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导(6.3.911)
场景介绍
准备工作
准备环境
准备代码
准备数据
准备镜像环境
预训练任务
SFT全参微调训练任务
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练中的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
工作负载Pod异常
主流开源大模型基于Server适配PyTorch NPU推理指导(6.3.910)
推理场景介绍
部署推理服务
非分离部署推理服务
分离部署推理服务
推理性能测试
语言模型推理性能测试
多模态模型推理性能测试
推理精度测试
推理模型量化
使用AWQ量化
使用SmoothQuant量化
使用kv-cache-int8量化
使用GPTQ量化
使用llm-compressor工具量化
eagle投机小模型训练
附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
附录:大模型推理常见问题
主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.910)
场景介绍
准备工作
准备资源
准备权重
准备代码
准备镜像
准备Notebook
在Notebook调试环境中部署推理服务
在推理生产环境中部署推理服务
推理精度测试
推理性能测试
推理模型量化
使用AWQ量化工具转换权重
使用SmoothQuant量化工具转换权重
使用kv-cache-int8量化
使用GPTQ量化
eagle 投机小模型训练
附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
附录:Standard大模型推理常见问题
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导(6.3.910)
推理场景介绍
准备工作
准备环境
准备代码
准备镜像
部署推理服务
推理性能测试
推理精度测试
推理模型量化
使用AWQ量化
使用SmoothQuant量化
使用kv-cache-int8量化
使用GPTQ量化
eagle投机小模型训练
附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
附录:大模型推理常见问题
附录:工作负载Pod异常问题和解决方法
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.910)
场景介绍
准备工作
准备环境
准备代码
准备数据
准备镜像
执行预训练任务
执行SFT全参微调训练任务
执行LoRA微调训练任务
查看日志和性能
训练脚本说明参考
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练中的权重转换说明
训练tokenizer文件说明
离线训练安装包准备说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
保存ckpt时超时报错
主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.910)
场景介绍
准备工作
准备环境
准备代码
准备镜像环境
DockerFile构建镜像(可选)
准备数据(可选)
执行训练任务
查看日志和性能
训练benchmark工具
工具介绍及准备工作
训练性能测试
训练精度测试
训练脚本说明
Yaml配置文件参数配置说明
模型NPU卡数、梯度累积值取值表
各个模型训练前文件替换
NPU_Flash_Attn融合算子约束
BF16和FP16说明
录制Profiling
附录:训练常见问题
主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.910)
场景介绍
准备工作
准备资源
准备数据
准备权重
准备代码
准备镜像
镜像方案说明
ECS获取和上传基础镜像
使用基础镜像
ECS中构建新镜像
准备Notebook(可选)
预训练
SFT全参微调训练
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导(6.3.910)
场景介绍
准备工作
准备资源
准备数据
准备权重
准备代码
准备镜像
镜像方案说明
ECS获取和上传基础镜像
使用基础镜像
ECS中构建新镜像
预训练
SFT全参微调训练
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导(6.3.910)
场景介绍
准备工作
准备环境
准备代码
准备数据
准备镜像环境
预训练任务
SFT全参微调训练任务
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练中的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
工作负载Pod异常
主流开源大模型基于Server适配PyTorch NPU推理指导(6.3.909)
推理场景介绍
部署推理服务
非分离部署推理服务
分离部署推理服务
推理性能测试
语言模型推理性能测试
多模态模型推理性能测试
推理精度测试
推理模型量化
使用AWQ量化
使用SmoothQuant量化
使用kv-cache-int8量化
使用GPTQ量化
使用llm-compressor工具量化
附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
附录:大模型推理常见问题
主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.909)
场景介绍
准备工作
准备资源
准备权重
准备代码
准备镜像
准备Notebook
在Notebook调试环境中部署推理服务
在推理生产环境中部署推理服务
推理精度测试
推理性能测试
推理模型量化
使用AWQ量化工具转换权重
使用SmoothQuant量化工具转换权重
使用kv-cache-int8量化
使用GPTQ量化
附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
附录:Standard大模型推理常见问题
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导(6.3.909)
推理场景介绍
准备工作
准备环境
准备代码
准备镜像
部署推理服务
推理性能测试
推理精度测试
推理模型量化
使用AWQ量化
使用SmoothQuant量化
使用kv-cache-int8量化
使用GPTQ量化
附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
附录:大模型推理常见问题
附录:工作负载Pod异常问题和解决方法
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.909)
场景介绍
准备工作
准备环境
准备代码
准备数据
准备镜像
执行预训练任务
执行SFT全参微调训练任务
执行LoRA微调训练任务
查看日志和性能
训练脚本说明参考
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练中的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
保存ckpt时超时报错
主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.909)
场景介绍
准备工作
准备环境
准备代码
准备镜像环境
准备数据(可选)
执行训练任务
查看日志和性能
训练脚本说明
Yaml配置文件参数配置说明
模型NPU卡数、梯度累积值取值表
各个模型训练前文件替换
NPU_Flash_Attn融合算子约束
BF16和FP16说明
录制Profiling
附录:训练常见问题
主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.909)
场景介绍
准备工作
准备资源
准备数据
准备权重
准备代码
准备镜像
镜像方案说明
ECS获取和上传基础镜像
使用基础镜像
ECS中构建新镜像
准备Notebook(可选)
预训练
SFT全参微调训练
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导(6.3.909)
场景介绍
准备工作
准备资源
准备数据
准备权重
准备代码
准备镜像
镜像方案说明
ECS获取和上传基础镜像
使用基础镜像
ECS中构建新镜像
预训练
SFT全参微调训练
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导(6.3.909)
场景介绍
准备工作
准备环境
准备代码
准备数据
准备镜像环境
预训练任务
SFT全参微调训练任务
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练中的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
工作负载Pod异常
主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.908)
推理场景介绍
部署推理服务
非分离部署推理服务
分离部署推理服务
推理性能测试
推理精度测试
推理模型量化
使用AWQ量化
使用SmoothQuant量化
使用kv-cache-int8量化
使用GPTQ量化
附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
附录:大模型推理常见问题
主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.908)
场景介绍
准备工作
准备资源
准备权重
准备代码
准备镜像
准备Notebook
在Notebook调试环境中部署推理服务
在推理生产环境中部署推理服务
推理精度测试
推理性能测试
推理模型量化
使用AWQ量化工具转换权重
使用SmoothQuant量化工具转换权重
使用kv-cache-int8量化
使用GPTQ量化
附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
附录:Standard大模型推理常见问题
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.908)
场景介绍
准备工作
准备环境
准备代码
准备数据
准备镜像
执行预训练任务
执行SFT全参微调训练任务
执行LoRA微调训练任务
查看日志和性能
训练脚本说明参考
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练中的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
保存ckpt时超时报错
主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.908)
场景介绍
准备工作
准备环境
准备代码
准备镜像环境
准备数据(可选)
执行微调训练任务
查看日志和性能
训练脚本说明
Yaml配置文件参数配置说明
模型NPU卡数、梯度累积值取值表
各个模型训练前文件替换
NPU_Flash_Attn融合算子约束
录制Profiling
附录:微调训练常见问题
主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.908)
场景介绍
准备工作
准备资源
准备数据
准备权重
准备代码
准备镜像
镜像方案说明
ECS获取和上传基础镜像
使用基础镜像
ECS中构建新镜像
准备Notebook(可选)
预训练
SFT全参微调训练
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导(6.3.908)
场景介绍
准备工作
准备资源
准备数据
准备权重
准备代码
准备镜像
镜像方案说明
ECS获取和上传基础镜像
使用基础镜像
ECS中构建新镜像
预训练
SFT全参微调训练
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.907)
场景介绍
准备工作
准备环境
准备代码
准备数据
准备镜像
预训练任务
SFT全参微调训练任务
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练中的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
保存ckpt时超时报错
主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.907)
场景介绍
准备工作
准备环境
准备代码
准备镜像环境
准备数据(可选)
指令监督微调训练任务
查看日志和性能
训练脚本说明
yaml配置文件参数配置说明
各个模型深度学习训练加速框架的选择
模型NPU卡数取值表
各个模型训练前文件替换
附录:指令微调训练常见问题
主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.907)
推理场景介绍
部署推理服务
推理性能测试
推理精度测试
推理模型量化
使用AWQ量化
使用SmoothQuant量化
使用kv-cache-int8量化
附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
附录:大模型推理常见问题
主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.907)
场景介绍
准备工作
准备资源
准备数据
准备权重
准备代码
准备镜像
准备Notebook(可选)
预训练
SFT全参微调训练
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练数据集预处理说明
训练权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
保存ckpt时超时报错
主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导(6.3.907)
场景介绍
准备工作
准备资源
准备数据
准备权重
准备代码
准备镜像
镜像方案说明
ECS获取和上传基础镜像
使用基础镜像
ECS中构建新镜像
Notebook中构建新镜像
预训练
SFT全参微调训练
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练的权重转换说明
训练tokenizer文件说明
常见错误原因和解决方法
显存溢出错误
网卡名称错误
保存ckpt时超时报错
主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.907)
场景介绍
准备工作
准备资源
准备权重
准备代码
准备镜像
准备Notebook
在Notebook调试环境中部署推理服务
在推理生产环境中部署推理服务
推理精度测试
推理性能测试
推理模型量化
使用AWQ量化工具转换权重
使用SmoothQuant量化工具转换权重
使用kv-cache-int8量化
附录:基于vLLM不同模型推理支持最小卡数和最大序列说明
附录:大模型推理standard常见问题
主流开源大模型基于DevServer适配PyTorch NPU训练指导(6.3.906)
场景介绍
准备工作
准备环境
准备代码
准备数据
准备镜像
预训练任务
SFT全参微调训练任务
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练中的权重转换说明
训练tokenizer文件说明
主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.906)
推理场景介绍
部署推理服务
推理性能测试
推理精度测试
推理模型量化
使用AWQ量化
使用SmoothQuant量化
使用kv-cache-int8量化
附录:大模型推理常见问题
主流开源大模型基于Standard适配PyTorch NPU训练指导(6.3.906)
场景介绍
准备工作
准备资源
准备数据
准备权重
准备代码
准备镜像
准备Notebook
预训练
SFT全参微调训练
LoRA微调训练
开启训练故障自动重启功能
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练的权重转换说明
训练tokenizer文件说明
主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.906)
场景介绍
准备工作
准备资源
准备权重
准备代码
准备镜像
准备Notebook
在Notebook调试环境中部署推理服务
在推理生产环境中部署推理服务
推理精度测试
推理性能测试
推理模型量化
使用AWQ量化工具转换权重
使用SmoothQuant量化工具转换权重
使用kv-cache-int8量化
主流开源大模型基于DevServer适配PyTorch NPU训练指导(6.3.905)
场景介绍
准备工作
准备环境
准备代码
准备数据
准备镜像
预训练任务
SFT全参微调训练任务
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练中的权重转换说明
训练tokenizer文件说明
主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.905)
推理场景介绍
部署推理服务
推理性能测试
推理精度测试
附录:大模型推理常见问题
主流开源大模型基于Standard适配PyTorch NPU训练指导(6.3.905)
场景介绍
准备工作
准备资源
准备数据
准备权重
准备代码
准备镜像
准备Notebook
预训练
SFT全参微调训练
LoRA微调训练
查看日志和性能
训练脚本说明
训练启动脚本说明和参数配置
训练的数据集预处理说明
训练的权重转换说明
训练tokenizer文件说明
主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.905)
场景介绍
准备工作
准备资源
准备权重
准备代码
准备镜像
准备Notebook
在Notebook调试环境中部署推理服务
在推理生产环境中部署推理服务
推理精度测试
推理性能测试
AIGC模型训练推理
FlUX.1基于DevServer适配PyTorch NPU推理指导(6.3.911)
FLUX.1基于DevSever适配PyTorch NPUFintune&Lora训练指导(6.3.911)
Llama 3.2-Vision基于DevServer适配Pytorch NPU训练微调指导(6.3.911)
Paraformer基于DevServer适配PyTorch NPU推理指导(6.3.911)
Bert基于DevServer适配MindSpore Lite 推理指导(6.3.910)
InternVL2基于DevServer适配PyTorch NPU训练指导(6.3.910)
LLaMA-VID基于DevServer适配PyTorch NPU推理指导(6.3.910)
LLaVA-NeXT基于DevServer适配Pytorch NPU训练微调指导(6.3.910)
MiniCPM-V2.0推理及LoRA微调基于DevServer适配PyTorch NPU指导(6.3.910)
Qwen-VL基于DevServer适配PyTorch NPU的Finetune训练指导(6.3.910)
SD1.5&SDXL ComfyUI、WebUI、Diffusers套件适配PyTorch NPU的推理指导(6.3.909)
FLUX.1基于DevServer适配PyTorch NPU推理指导(6.3.909)
Hunyuan-DiT基于DevServer部署适配PyTorch NPU推理指导(6.3.909)
MiniCPM-V2.6基于DevServer适配PyTorch NPU训练指导(6.3.909)
Qwen-VL基于DevServer适配Pytorch NPU的推理指导(6.3.909)
Yolov8基于DevServer适配MindSpore Lite推理指导(6.3.909)
SD WEBUI套件适配PyTorch NPU的推理指导(6.3.908)
SD WebUI推理方案概览
在DevServer上部署SD WebUI推理服务
在Standard上部署SD WebUI推理服务
SD WebUI推理性能测试
SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU训练指导(6.3.908)
训练场景和方案介绍
准备镜像环境
Finetune训练
LoRA训练
Controlnet训练
SD1.5&SDXL Koyha框架基于DevServer适配PyTorch NPU训练指导(6.3.908)
训练场景和方案介绍
准备镜像环境
Finetune训练
LoRA训练
SDXL基于Standard适配PyTorch NPU的LoRA训练指导(6.3.908)
SD3 Diffusers框架基于DevServer适配PyTorch NPU推理指导(6.3.907)
SDXL&SD1.5 ComfyUI基于Lite Cluster适配NPU推理指导(6.3.906)
SDXL&SD1.5 WebUI基于Lite Cluster适配NPU推理指导(6.3.906)
LLaVA模型基于DevServer适配PyTorch NPU预训练指导(6.3.906)
LLaVA模型基于DevServer适配PyTorch NPU推理指导(6.3.906)
SDXL基于Standard适配PyTorch NPU的Finetune训练指导(6.3.905)
SDXL基于DevServer适配PyTorch NPU的Finetune训练指导(6.3.905)
SDXL基于DevServer适配PyTorch NPU的LoRA训练指导(6.3.905)
SD1.5基于DevServer适配PyTorch NPU Finetune训练指导(6.3.904)
Open-Clip基于DevServer适配PyTorch NPU训练指导
moondream2基于DevServer适配PyTorch NPU推理指导
AIGC工具tailor使用指导
数字人模型训练推理
Wav2Lip推理基于DevServer适配PyTorch NPU推理指导(6.3.907)
Wav2Lip训练基于DevServer适配PyTorch NPU训练指导(6.3.907)
文生视频模型训练推理
CogVideoX模型基于DevServer适配PyTorch NPU全量训练指导(6.3.911)
Open-Sora1.2基于DevServer适配PyTorch NPU训练推理指导(6.3.910)
Open-Sora-Plan1.0基于DevServer适配PyTorch NPU训练推理指导(6.3.907)
Open-Sora 1.0基于DevServer适配PyTorch NPU训练指导(6.3.905)
GPU业务迁移至昇腾训练推理
基于AIGC模型的GPU推理业务迁移至昇腾指导
场景介绍
迁移环境准备
pipeline应用准备
应用迁移
模型适配
pipeline代码适配
迁移效果校验
模型精度调优
场景介绍
精度问题诊断
精度问题处理
性能调优
单模型性能测试工具Mindspore lite benchmark
单模型性能调优AOE
常见问题
GPU推理业务迁移至昇腾的通用指导
简介
昇腾迁移快速入门案例
迁移评估
环境准备
模型适配
基于MindSpore Lite的模型转换
动态shape
精度校验
性能调优
迁移过程使用工具概览
常见问题
MindSpore Lite问题定位指南
模型转换报错如何查看日志和定位?
日志提示Compile graph failed
日志提示Custom op has no reg_op_name attr
推理业务迁移评估表
基于advisor的昇腾训练性能自助调优指导
昇腾性能自动诊断工具使用说明
基于ModelArts performance advisor插件的昇腾PyTorch性能调优步骤
创建Notebook并执行性能诊断任务
advisor分析报告html文件详解
Standard权限管理
ModelArts权限管理基本概念
权限控制方式
IAM
依赖和委托
工作空间
典型场景配置实践
个人用户快速配置ModelArts访问权限
配置ModelArts基本使用权限
场景描述
Step1 创建用户组并加入用户
Step2 为用户配置云服务使用权限
Step3 为用户配置ModelArts的委托访问授权
Step4 测试用户权限
给子账号配置开发环境基本使用权限
给子账号配置训练作业基本使用权限
给子账号配置部署上线基本使用权限
管理员和开发者权限分离
给子账号配置查看所有Notebook实例的权限
限制用户使用公共资源池
委托授权ModelArts云服务使用SFS Turbo
给子账号配置文件夹级的SFS Turbo访问权限
FAQ
使用ModelArts时提示“权限不足”,如何解决?
Standard自动学习
使用ModelArts Standard自动学习实现口罩检测
使用ModelArts Standard自动学习实现垃圾分类
Standard开发环境
将Notebook的Conda环境迁移到SFS磁盘
使用ModelArts PyCharm插件调试训练ResNet50图像分类模型
使用ModelArts VSCode插件调试训练ResNet50图像分类模型
Standard模型训练
使用ModelArts Standard自定义算法实现手写数字识别
基于ModelArts Standard运行GPU训练作业
在ModelArts Standard上运行GPU训练作业的场景介绍
在ModelArts Standard运行GPU训练作业的准备工作
在ModelArts Standard上运行GPU单机单卡训练作业
在ModelArts Standard上运行GPU单机多卡训练作业
在ModelArts Standard上运行GPU多机多卡训练作业
在ModelArts Standard使用run.sh脚本实现OBS和训练容器间的数据传输
Standard推理部署
ModelArts Standard推理服务访问公网方案
端到端运维ModelArts Standard推理服务方案
使用自定义引擎在ModelArts Standard创建模型
使用大模型在ModelArts Standard创建模型部署在线服务
第三方推理框架迁移到ModelArts Standard推理自定义引擎
ModelArts Standard推理服务支持VPC直连的高速访问通道配置
ModelArts Standard的WebSocket在线服务全流程开发
从0-1制作自定义镜像并创建AI应用
使用AppCode认证鉴权方式进行在线预测
历史待下线案例
使用AI Gallery的订阅算法实现花卉识别
示例:从 0 到 1 制作自定义镜像并用于训练(Pytorch+CPU/GPU)
示例:从 0 到 1 制作自定义镜像并用于训练(MPI+CPU/GPU)
使用ModelArts Standard一键完成商超商品识别模型部署
专属资源池训练
资源选择推荐
步骤总览
资源购买
基本配置
权限配置
配置IAM权限
配置ModelArts委托权限
配置SWR组织权限
测试用户权限
创建网络
专属资源池VPC打通
ECS服务器挂载SFS Turbo存储
在ECS中创建ma-user和ma-group
obsutil安装和配置
(可选)工作空间配置
调试与训练
单机单卡
线下容器镜像构建及调试
上传镜像
上传数据和算法至OBS(首次使用时需要)
使用Notebook进行代码调试
创建训练任务
监控资源
单机多卡
准备镜像
上传数据和算法至SFS(首次使用时需要)
使用Notebook进行代码调试
创建训练任务
多机多卡
线下容器镜像构建及调试
上传数据至OBS(首次使用时需要)
上传算法至SFS
创建训练任务
FAQ
CUDA和CUDNN
run.sh脚本测试ModelArts训练整体流程
ModelArts环境挂载目录说明
infiniband驱动的安装
如何保证训练和调试时文件路径保持一致
API参考
使用前必读
API概览
如何调用API
构造请求
认证鉴权
返回结果
Workflow工作流管理
获取Workflow工作流列表
新建Workflow工作流
删除Workflow工作流
查询Workflow工作流
修改Workflow工作流
总览Workflow工作流
查询Workflow待办事项
在线服务鉴权
创建在线服务包
获取Execution列表
新建Workflow Execution
删除Workflow Execution
查询Workflow Execution
更新Workflow Execution
管理Workflow Execution
管理Workflow StepExecution
获取Workflow工作流节点度量信息
新建消息订阅Subscription
删除消息订阅Subscription
查询消息订阅Subscription详情
更新消息订阅Subscription
创建工作流定时调度
查询工作流定时调度详情
删除工作流定时调度信息
更新工作流定时调度信息
开发环境管理
创建Notebook实例
查询Notebook实例列表
查询所有Notebook实例列表
查询Notebook实例详情
更新Notebook实例
删除Notebook实例
通过运行的实例保存成容器镜像
查询Notebook支持的有效规格列表
查询Notebook支持的可切换规格列表
查询运行中的Notebook可用时长
Notebook时长续约
启动Notebook实例
停止Notebook实例
获取动态挂载OBS实例信息列表
动态挂载OBS
获取动态挂载OBS实例详情
动态卸载OBS
添加资源标签
删除资源标签
查询Notebook资源类型下的标签
查询支持的镜像列表
注册自定义镜像
查询用户镜像组列表
查询镜像详情
删除镜像
训练管理
创建算法
查询算法列表
查询算法详情
更新算法
删除算法
获取支持的超参搜索算法
创建训练作业
查询训练作业详情
更新训练作业描述
删除训练作业
终止训练作业
查询训练作业指定任务的日志(预览)
查询训练作业指定任务的日志(OBS链接)
查询训练作业指定任务的运行指标
查询训练作业列表
查询超参搜索所有trial的结果
查询超参搜索某个trial的结果
获取超参敏感度分析结果
获取某个超参敏感度分析图像的路径
提前终止自动化搜索作业的某个trial
获取自动化搜索作业yaml模板的信息
获取自动化搜索作业yaml模板的内容
创建训练作业标签
删除训练作业标签
查询训练作业标签
获取训练作业事件列表
创建训练作业镜像保存任务
查询训练作业镜像保存任务
获取训练作业支持的公共规格
获取训练作业支持的AI预置框架
AI应用管理
查询模型runtime
查询AI应用列表
创建AI应用
查询AI应用详情
删除AI应用
APP认证管理
获取APP列表
创建APP
查询APP详情
删除APP
增加AppCode
重置AppCode
删除AppCode
重置AppSecret
获取用户绑定APP的api列表
注册API并授权给APP
删除API
授权API至APP
更新API授权
解除API对APP的授权
获取API授权关系列表
创建API
查询API
查询API和APP
查询APP的API认证信息
查询APP是否存在
服务管理
通过patch操作对服务进行更新
查询服务监控信息
查询服务列表
部署服务
查询支持的服务部署规格
查询服务详情
更新服务配置
删除服务
更新模型服务的单个属性
查询专属资源池列表
查询服务事件日志
启动停止边缘节点服务实例
查询服务更新日志
添加资源标签
删除资源标签
查询推理服务标签
查询推理VPC访问通道信息的API
资源管理
查询OS的配置参数
查询插件模板
查询节点列表
批量删除节点
批量重启节点
查询事件列表
创建网络资源
查询网络资源列表
查询网络资源
删除网络资源
更新网络资源
查询资源实时利用率
创建资源池
查询资源池列表,可通过标签、资源池状态筛选查询资源池列表
查询资源池
删除资源池
更新资源池
资源池监控
资源池统计
查询资源规格列表
查询专属资源池作业列表
查询专属资源池作业统计信息
DevServer管理
查询用户所有DevServer实例列表
创建DevServer
查询DevServer实例详情
删除DevServer实例
实时同步用户所有DevServer实例状态
启动DevServer实例
停止DevServer实例
授权管理
查看授权列表
配置授权
删除授权
创建ModelArts委托
工作空间管理
查询工作空间详情
修改工作空间
删除工作空间
查询工作空间配额
修改工作空间配额
查询工作空间列表
创建工作空间
配额管理
查询OS的配额
资源标签管理
查询资源池的所有标签
查询资源池上的标签
节点池管理
查询节点池列表
创建节点池
查询指定节点池详情
更新节点池
删除节点池
查询节点池的节点列表
应用示例
创建图像分类数据集并进行标注任务
创建并完成图像分类的智能标注任务
开发环境的应用示例
以PyTorch框架创建训练作业(新版训练)
创建和修改工作空间
管理ModelArts服务的委托授权
权限策略和授权项
策略及授权项说明
数据管理权限
开发环境权限
训练作业权限
模型管理权限
服务管理权限
工作空间管理权限
DevServer权限
公共参数
状态码
错误码
获取项目ID和名称
获取账号名和账号ID
获取用户名和用户ID
历史API
数据管理(旧版)
查询数据集列表
创建数据集
查询数据集详情
更新数据集
删除数据集
查询数据集的统计信息
查询数据集监控数据
查询数据集的版本列表
创建数据集标注版本
查询数据集版本详情
删除数据集标注版本
查询样本列表
批量添加样本
批量删除样本
查询单个样本信息
获取样本搜索条件
分页查询团队标注任务下的样本列表
查询团队标注的样本信息
查询数据集标签列表
创建数据集标签
批量修改标签
批量删除标签
按标签名称更新单个标签
按标签名称删除标签及仅包含此标签的文件
批量更新样本标签
查询数据集的团队标注任务列表
创建团队标注任务
查询团队标注任务详情
启动团队标注任务
更新团队标注任务
删除团队标注任务
创建团队标注验收任务
查询团队标注验收任务报告
更新团队标注验收任务状态
查询团队标注任务统计信息
查询团队标注任务成员的进度信息
团队成员查询团队标注任务列表
提交验收任务的样本评审意见
团队标注审核
批量更新团队标注样本的标签
查询标注团队列表
创建标注团队
查询标注团队详情
更新标注团队
删除标注团队
向标注成员发送邮件
查询所有团队的标注成员列表
查询标注团队的成员列表
创建标注团队的成员
批量删除标注团队成员
查询标注团队成员详情
更新标注团队成员
删除标注团队成员
查询数据集导入任务列表
创建导入任务
查询数据集导入任务的详情
查询数据集导出任务列表
创建数据集导出任务
查询数据集导出任务的状态
同步数据集
查询数据集同步任务的状态
查询智能标注的样本列表
查询单个智能标注样本的信息
分页查询智能任务列表
启动智能任务
获取智能任务的信息
停止智能任务
查询处理任务列表
创建处理任务
查询数据处理的算法类别
查询处理任务详情
更新处理任务
删除处理任务
查询数据处理任务的版本列表
创建数据处理任务版本
查询数据处理任务的版本详情
删除数据处理任务的版本
查询数据处理任务版本的结果展示
停止数据处理任务的版本
开发环境(旧版)
创建开发环境实例
查询开发环境实例列表
查询开发环境实例详情
更新开发环境实例信息
删除开发环境实例
管理开发环境实例
训练管理(旧版)
训练作业
创建训练作业
查询训练作业列表
查询训练作业版本详情
删除训练作业版本
查询训练作业版本列表
创建训练作业版本
停止训练作业版本
更新训练作业描述
删除训练作业
获取训练作业日志的文件名
查询预置算法
查询训练作业日志
训练作业参数配置
创建训练作业参数
查询训练作业参数列表
更新训练作业参数
删除训练作业参数
查询训练作业参数详情
可视化作业
创建可视化作业
查询可视化作业列表
查询可视化作业详情
更新可视化作业描述
删除可视化作业
停止可视化作业
重启可视化作业
资源和引擎规格接口
查询作业资源规格
查询作业引擎规格
作业状态参考
SDK参考
文档导读
SDK简介
快速开始
(可选)本地服务器安装ModelArts SDK
Session鉴权
(可选)Session鉴权
用户名密码认证模式
用户AK-SK认证模式
OBS管理
OBS管理概述
文件传输(推荐)
上传文件至OBS
上传文件夹至OBS
从OBS下载文件
从OBS下载文件夹
数据管理
数据集管理
查询数据集列表
创建数据集
查询数据集详情
更新数据集
删除数据集
数据集版本管理
查询数据集版本列表
创建数据集版本
查询数据集版本详情
删除数据集版本
样本管理
查询样本列表
查询单个样本详情
批量删除样本
导入任务管理
查询导入任务列表
创建导入任务
查询导入任务状态
导出任务管理
查询导出任务列表
创建导出任务
查询导出任务状态
Manifest管理
Manifest管理概述
解析Manifest文件
创建和保存Manifest文件
解析Pascal VOC文件
创建和保存Pascal VOC文件
标注任务管理
创建标注任务
查询数据集的标注任务列表
查询标注任务详情
训练管理
训练作业
创建训练作业
训练作业调测
使用SDK调测单机训练作业
使用SDK调测多机分布式训练作业
查询训练作业列表
查询训练作业详情
更新训练作业描述
删除训练作业
终止训练作业
查询训练日志
查询训练作业的运行指标
资源和引擎规格接口
查询资源规格列表
查询引擎规格列表
模型管理
模型调试
导入模型
查询模型列表
查询模型对象列表
查询模型详情
删除模型
服务管理
服务管理概述
在开发环境中部署本地服务进行调试
部署在线服务
查询服务详情
推理服务测试
查询服务列表
查询服务对象列表
更新服务配置
查询服务监控信息
查询服务日志
删除服务
场景代码示例
故障排除
通用问题
ModelArts中提示OBS路径错误
自动学习
准备数据
数据集版本发布失败
数据集版本不合格
模型训练
自动学习训练作业失败
部署上线
部署上线失败
模型发布
模型发布失败
开发环境
环境配置故障
Notebook提示磁盘空间已满
Notebook中使用Conda安装Keras 2.3.1报错
Notebook中安装依赖包报错ERROR: HTTP error 404 while getting xxx
Notebook中已安装对应库,仍报错import numba ModuleNotFoundError: No module named 'numba'
JupyterLab中文件保存失败,如何解决?
用户结束kernelgateway进程后报错Server Connection Error,如何恢复?
实例故障
创建Notebook失败,查看事件显示JupyterProcessKilled
创建Notebook实例后无法打开页面,如何处理?
使用pip install时出现“没有空间”的错误
出现“save error”错误,可以运行代码,但是无法保存
出现ModelArts.6333错误,如何处理?
打开Notebook实例提示token不存在或者token丢失如何处理?
代码运行故障
Notebook运行代码报错,在'/tmp'中到不到文件
Notebook无法执行代码,如何处理?
运行训练代码,出现dead kernel,并导致实例崩溃
如何解决训练过程中出现的cudaCheckError错误?
如何处理使用opencv.imshow造成的内核崩溃?
使用Windows下生成的文本文件时报错找不到路径?
创建Notebook文件后,右上角的Kernel状态为“No Kernel”如何处理?
JupyterLab插件故障
git插件密码失效如何解决?
VS Code连接开发环境失败故障处理
在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,未弹出VS Code窗口
在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,VS Code打开后未进行远程连接
VS Code连接开发环境失败时的排查方法
远程连接出现弹窗报错:Could not establish connection to xxx
连接远端开发环境时,一直处于"Setting up SSH Host xxx: Downloading VS Code Server locally"超过10分钟以上,如何解决?
连接远端开发环境时,一直处于"Setting up SSH Host xxx: Copying VS Code Server to host with scp"超过10分钟以上,如何解决?
远程连接处于retry状态如何解决?
报错“The VS Code Server failed to start”如何解决?
报错“Permissions for 'x:/xxx.pem' are too open”如何解决?
报错“Bad owner or permissions on C:\Users\Administrator/.ssh/config”如何解决?
报错“Connection permission denied (publickey)”如何解决
报错“ssh: connect to host xxx.pem port xxxxx: Connection refused”如何解决?
报错"ssh: connect to host ModelArts-xxx port xxx: Connection timed out"如何解决?
报错“Load key "C:/Users/xx/test1/xxx.pem": invalid format”如何解决?
报错“An SSH installation couldn't be found”或者“Could not establish connection to instance xxx: 'ssh' ...”如何解决?
报错“no such identity: C:/Users/xx /test.pem: No such file or directory”如何解决?
报错“Host key verification failed.'或者'Port forwarding is disabled.”如何解决?
报错“Failed to install the VS Code Server.”或“tar: Error is not recoverable: exiting now.”如何解决?
VS Code连接远端Notebook时报错“XHR failed”
VS Code连接后长时间未操作,连接自动断开
VS Code自动升级后,导致远程连接时间过长
使用SSH连接,报错“Connection reset”如何解决?
使用MobaXterm工具SSH连接Notebook后,经常断开或卡顿,如何解决?
VS Code连接开发环境时报错Missing GLIBC,Missing required dependencies
使用VSCode-huawei,报错:卸载了‘ms-vscode-remote.remot-sdh’,它被报告存在问题
使用VS Code连接实例时,发现VS Code端的实例目录和云上目录不匹配
VSCode远程连接时卡顿,或Python调试插件无法使用如何处理?
自定义镜像故障
Notebook自定义镜像故障基础排查
镜像保存时报错“there are processes in 'D' status, please check process status using 'ps -aux' and kill all the 'D' status processes”或“Buildimge,False,Error response from daemon,Cannot pause container xxx”如何解决?
镜像保存时报错“container size %dG is greater than threshold %dG”如何解决?
保存镜像时报错“too many layers in your image”如何解决?
镜像保存时报错“The container size (xG) is greater than the threshold (25G)”如何解决?
镜像保存时报错“BuildImage,True,Commit successfully|PushImage,False,Task is running.”
使用自定义镜像创建Notebook后打开没有kernel
用户自定义镜像自建的conda环境会查到一些额外的包,影响用户程序,如何解决?
用户使用ma-cli制作自定义镜像失败,报错文件不存在(not found)
用户使用torch报错Unexpected error from cudaGetDeviceCount
其他故障
Notebook中无法打开“checkpoints”文件夹
创建新版Notebook无法使用已购买的专属资源池,如何解决?
在Notebook中使用tensorboard命令打开日志文件报错Permission denied
训练作业
OBS操作相关故障
读取文件报错,如何正确读取文件
TensorFlow-1.8作业连接OBS时反复出现提示错误
TensorFlow在OBS写入TensorBoard到达5GB时停止
保存模型时出现Unable to connect to endpoint错误
OBS复制过程中提示“BrokenPipeError: Broken pipe”
日志提示“ValueError: Invalid endpoint: obs.xxxx.com”
日志提示“errorMessage:The specified key does not exist”
tensorboard显示502 bad gateway
云上迁移适配故障
无法导入模块
训练作业日志中提示“No module named .*”
如何安装第三方包,安装报错的处理方法
下载代码目录失败
训练作业日志中提示“No such file or directory”
训练过程中无法找到so文件
ModelArts训练作业无法解析参数,日志报错
训练输出路径被其他作业使用
PyTorch1.0引擎提示“RuntimeError: std:exception”
MindSpore日志提示“ retCode=0x91, [the model stream execute failed]”
使用moxing适配OBS路径,pandas读取文件报错
日志提示“Please upgrade numpy to >= xxx to use this pandas version”
重装的包与镜像装CUDA版本不匹配
创建训练作业提示错误码ModelArts.2763
训练作业日志中提示 “AttributeError: module '***' has no attribute '***'”
系统容器异常退出
硬盘限制故障
下载或读取文件报错,提示超时、无剩余空间
复制数据至容器中空间不足
Tensorflow多节点作业下载数据到/cache显示No space left
日志文件的大小达到限制
日志提示"write line error"
日志提示“No space left on device”
OOM导致训练作业失败
常见的磁盘空间不足的问题和解决办法
外网访问限制
日志提示“ Network is unreachable”
运行训练作业时提示URL连接超时
权限问题
训练作业访问OBS时,日志提示“stat:403 reason:Forbidden”
日志提示"Permission denied"
GPU相关问题
日志提示"No CUDA-capable device is detected"
日志提示“RuntimeError: connect() timed out”
日志提示“cuda runtime error (10) : invalid device ordinal at xxx”
日志提示“RuntimeError: Cannot re-initialize CUDA in forked subprocess”
训练作业找不到GPU
业务代码问题
日志提示“pandas.errors.ParserError: Error tokenizing data. C error: Expected .* fields”
日志提示“max_pool2d_with_indices_out_cuda_frame failed with error code 0”
训练作业失败,返回错误码139
训练作业失败,如何使用开发环境调试训练代码?
日志提示“ '(slice(0, 13184, None), slice(None, None, None))' is an invalid key”
日志报错“DataFrame.dtypes for data must be int, float or bool”
日志提示“CUDNN_STATUS_NOT_SUPPORTED. ”
日志提示“Out of bounds nanosecond timestamp”
日志提示“Unexpected keyword argument passed to optimizer”
日志提示“no socket interface found”
日志提示“Runtimeerror: Dataloader worker (pid 46212 ) is killed by signal: Killed BP”
日志提示“AttributeError: 'NoneType' object has no attribute 'dtype'”
日志提示“No module name 'unidecode'”
分布式Tensorflow无法使用“tf.variable”
MXNet创建kvstore时程序被阻塞,无报错
日志出现ECC错误,导致训练作业失败
超过最大递归深度导致训练作业失败
使用预置算法训练时,训练失败,报“bndbox”错误
训练作业进程异常退出
训练作业进程被kill
预置算法运行故障
日志提示“label_map.pbtxt cannot be found”
日志提示“root: XXX valid number is 0”
日志提示“ValueError: label_map not match”
日志提示“Please set the train_url to an empty obs directory”
日志提示“UnboundLocalError: local variable 'epoch'”
使用订阅算法训练结束后没有显示模型评估结果
使用python3.6-torch1.4版本镜像环境安装MMCV报错
训练作业运行失败
训练作业运行失败排查指导
训练作业运行失败,出现NCCL报错
自定义镜像训练作业失败定位思路
使用自定义镜像创建的训练作业一直处于运行中
使用自定义镜像创建训练作业找不到启动文件
训练作业的监控内存指标持续升高直至作业失败
订阅算法物体检测YOLOv3_ResNet18(Ascend)训练失败报错label_map.pbtxt cannot be found
训练作业训练失败报错:TypeError: unhashable type: ‘list’
专属资源池创建训练作业
创建训练作业界面无云存储名称和挂载路径排查思路
创建训练作业时出现“实例挂卷失败”的事件
训练作业性能问题
训练作业性能降低
Ascend相关问题
Cann软件与Ascend驱动版本不匹配
训练作业的日志出现detect failed(昇腾预检失败)
推理部署
模型管理
创建模型失败,如何定位和处理问题?
导入模型提示该账号受限或者没有操作权限
用户创建模型时构建镜像或导入文件失败
创建模型时,OBS文件目录对应镜像里面的目录结构是什么样的?
通过OBS导入模型时,如何编写打印日志代码才能在ModelArts日志查询界面看到日志
通过OBS创建模型时,构建日志中提示pip下载包失败
通过自定义镜像创建模型失败
导入模型后部署服务,提示磁盘不足
创建模型成功后,部署服务报错,如何排查代码问题
自定义镜像导入配置运行时依赖无效
通过API接口查询模型详情,model_name返回值出现乱码
导入模型提示模型或镜像大小超过限制
导入模型提示单个模型文件超过5G限制
订阅的模型一直处于等待同步状态
创建模型失败,提示模型镜像构建任务超时,没有构建日志
服务部署
自定义镜像模型部署为在线服务时出现异常
部署的在线服务状态为告警
服务启动失败
服务部署、启动、升级和修改时,拉取镜像失败如何处理?
服务部署、启动、升级和修改时,镜像不断重启如何处理?
服务部署、启动、升级和修改时,容器健康检查失败如何处理?
服务部署、启动、升级和修改时,资源不足如何处理?
模型使用CV2包部署在线服务报错
服务状态一直处于“部署中”
服务启动后,状态断断续续处于“告警中”
服务部署失败,报错No Module named XXX
IEF节点边缘服务部署失败
批量服务输入/输出obs目录不存在或者权限不足
部署在线服务出现报错No CUDA runtime is found
使用AI市场物体检测YOLOv3_Darknet53算法训练后部署在线服务报错
使用预置AI算法部署在线服务报错gunicorn:error:unrecorgized arguments
内存不足如何处理?
服务预测
服务预测失败
服务预测失败,报错APIG.XXXX
在线服务预测报错ModelArts.4206
在线服务预测报错ModelArts.4302
在线服务预测报错ModelArts.4503
在线服务预测报错MR.0105
在线服务预测报错ModelArts.2803
请求超时返回Timeout
自定义镜像导入模型部署上线调用API报错
在线服务预测报错DL.0105
时序预测-time_series_v2算法部署在线服务预测报错
MoXing
使用MoXing复制数据报错
如何关闭Mox的warmup
Pytorch Mox日志反复输出
moxing.tensorflow是否包含整个TensorFlow,如何对生成的checkpoint进行本地Fine Tune?
训练作业使用MoXing复制数据较慢,重复打印日志
MoXing如何访问文件夹并使用get_size读取文件夹大小?
API/SDK
安装ModelArts SDK报错“ERROR: Could not install packages due to an OSError”
ModelArts SDK下载文件目标路径设置为文件名,部署服务时报错
调用API创建训练作业,训练作业异常
用户执行huaweicloud.com相关API超时
资源池
创建资源池失败
Standard资源池节点故障定位
资源池推理服务一直初始化中如何解决
专属资源池关联SFS Turbo显示异常
Lite Server
GPU裸金属服务器使用EulerOS内核误升级如何解决
GPU A系列裸金属服务器无法获取显卡如何解决
GPU裸金属服务器无法Ping通如何解决
GPU A系列裸金属服务器RoCE带宽不足如何解决?
GPU裸金属服务器更换NVIDIA驱动后执行nvidia-smi提示Failed to initialize NVML
训练速度突然下降以及执行nvidia-smi卡顿如何解决?
GP Vnt1裸金属服务器用PyTorch报错CUDA initialization:CUDA unknown error
使用SFS盘出现报错rpc_check_timeout:939 callbacks suppressed
华为云CCE集群纳管GPU裸金属服务器由于CloudInit导致纳管失败的解决方案
GPU A系列裸金属服务器使用CUDA cudaGetDeviceCount()提示CUDA initializat失败
裸金属服务器Euler OS升级NetworkManager-config-server导致SSH链接故障解决方案
Lite Cluster
资源池创建失败的原因与解决方法?
Cluster资源池节点故障如何定位
特权池信息数据显示均为0%如何解决?
重置节点后无法正常使用?
常见问题
一般性问题
什么是ModelArts
ModelArts与其他服务的关系
ModelArts与DLS服务的区别?
如何购买或开通ModelArts?
支持哪些型号的Ascend芯片?
如何获取访问密钥?
如何上传数据至OBS?
提示“上传的AK/SK不可用”,如何解决?
使用ModelArts时提示“权限不足”,如何解决?
如何用ModelArts训练基于结构化数据的模型?
什么是区域、可用区?
在ModelArts中如何查看OBS目录下的所有文件?
ModelArts数据集保存到容器的哪里?
ModelArts支持哪些AI框架?
ModelArts训练和推理分别对应哪些功能?
如何查看账号ID和IAM用户ID
ModelArts AI识别可以单独针对一个标签识别吗?
ModelArts如何通过标签实现资源分组管理
为什么资源充足还是在排队?
规格中数字分别代表什么含义?
如何删除预置镜像中不需要的工具
计费相关
如何查看ModelArts中正在收费的作业?
如何查看ModelArts消费详情?
ModelArts上传数据集收费吗?
ModelArts标注完样本集后,如何保证退出后不再产生计费?
ModelArts自动学习所创建项目一直在扣费,如何停止计费?
如果不再使用ModelArts,如何停止收费?
训练作业如何收费?
为什么项目删除完了,仍然还在计费?
欠费后,ModelArts的资源是否会被删除?
部署后的AI应用是如何收费的?
Notebook中的EVS存储可以使用套餐包吗?
Standard自动学习
功能咨询
什么是自动学习?
ModelArts自动学习与ModelArts PRO的区别
什么是图像分类和物体检测?
自动学习和订阅算法有什么区别?
准备数据
自动学习的每个项目对数据有哪些要求?
创建预测分析自动学习项目时,对训练数据有什么要求?
使用从OBS选择的数据创建表格数据集如何处理Schema信息?
物体检测或图像分类项目支持对哪些格式的图片进行标注和训练?
创建项目
创建自动学习项目有个数限制吗?
创建项目的时候,数据集输入位置没有可选数据
数据标注
物体检测图片标注,一张图片是否可以添加多个标签?
在物体检测作业中上传已标注图片后,为什么部分图片显示未标注?
模型训练
创建图像分类自动学习项目并完成图片标注,训练按钮显示灰色,无法开始训练?
自动学习项目中,如何进行增量训练?
自动学习训练后的模型是否可以下载?
自动学习为什么训练失败?
自动学习模型训练图片异常?
自动学习使用子账号单击开始训练出现错误Modelarts.0010
自动学习中偏好设置的各参数训练速度大概是多少
自动学习声音分类预测报错ERROR:input key sound is not in model
部署上线
自动学习中部署上线是将模型部署为什么类型的服务?
Standard数据管理
添加图片时,图片大小有限制吗?
数据集图片无法显示,如何解决?
如何将多个物体检测的数据集合并成一个数据集?
导入数据集失败
表格类型的数据集如何标注
本地标注的数据,导入ModelArts需要做什么?
为什么通过Manifest文件导入失败?
标注结果存储在哪里?
如何将标注结果下载至本地?
团队标注时,为什么团队成员收不到邮件?
可以两个账号同时进行一个数据集的标注吗?
团队标注的数据分配机制是什么?
标注过程中,已经分配标注任务后,能否将一个labeler从标注任务中删除?删除后对标注结果有什么影响?如果不能删除labeler,能否删除将他的标注结果从整体标注结果中分离出来?
数据标注中,难例集如何定义?什么情况下会被识别为难例?
物体检测标注时,支持叠加框吗?
如何将两个数据集合并?
智能标注是否支持多边形标注?
团队标注的完成验收的各选项表示什么意思?
同一个账户,图片展示角度不同是为什么?
智能标注完成后新加入数据是否需要重新训练?
为什么在ModelArts数据标注平台标注数据提示标注保存失败?
标注多个标签,是否可针对一个标签进行识别?
使用数据处理的数据扩增功能后,新增图片没有自动标注
视频数据集无法显示和播放视频
使用样例的有标签的数据或者自己通过其他方式打好标签的数据放到OBS桶里,在modelarts中同步数据源以后看不到已标注,全部显示为未标注
如何使用soft NMS方法降低目标框堆叠度
ModelArts标注数据丢失,看不到标注过的图片的标签
如何将某些图片划分到验证集或者训练集?
物体检测标注时除了位置、物体名字,是否可以设置其他标签,比如是否遮挡、亮度等?
ModelArts数据管理支持哪些格式?
旧版数据集中的数据是否会被清理?
数据集版本管理找不到新建的版本
如何查看数据集大小
如何查看新版数据集的标注详情
标注数据如何导出
找不到新创建的数据集
数据集配额不正确
数据集如何切分
如何删除数据集图片
从AI Gallery下载到桶里的数据集,再在ModelArts里创建数据集,显示样本数为0
Standard Notebook
规格限制
是否支持sudo提权?
是否支持apt-get?
是否支持Keras引擎?
是否支持caffe引擎?
是否支持本地安装MoXing?
Notebook支持远程登录吗?
文件上传下载
如何在Notebook中上传下载OBS文件?
如何上传本地文件至Notebook?
如何导入大文件到Notebook中?
upload后,数据将上传到哪里?
如何下载Notebook中的文件到本地?
如何将开发环境Notebook A的数据复制到Notebook B中?
在Notebook中上传文件失败,如何解决?
动态挂载OBS并行文件系统成功,但是在Notebook的JupyterLab中无法看到本地挂载点
数据存储
如何对OBS的文件重命名?
Notebook停止或者重启后,“/cache”下的文件还存在么?如何避免重启?
如何使用pandas库处理OBS桶中的数据?
在Notebook中,如何访问其他账号的OBS桶?
JupyterLab默认工作路径是什么?
环境配置相关
如何查看Notebook使用的cuda版本?
如何打开ModelArts开发环境的Terminal功能?
如何在Notebook中安装外部库?
如何获取本机外网IP?
如何解决“在IOS系统里打开ModelArts的Notebook,字体显示异常”的问题?
Notebook有代理吗?如何关闭?
在Notebook中添加自定义IPython Kernel
Notebook实例常见错误
创建Notebook实例后无法打开页面,如何处理?
使用pip install时出现“没有空间”的错误
使用pip install提示Read timed out
出现“save error”错误,可以运行代码,但是无法保存
单击Notebook的打开按钮时报“请求超时”错误?
使用CodeLab时报错kernel restart
使用SSH工具连接Notebook,服务器的进程被清理了,GPU使用率显示还是100%
Notebook实例出现“Server Connection Error”错误
代码运行常见错误
Notebook无法执行代码,如何处理?
运行训练代码,出现dead kernel,并导致实例崩溃
如何解决训练过程中出现的cudaCheckError错误?
开发环境提示空间不足,如何解决?
如何处理使用opencv.imshow造成的内核崩溃?
使用Windows下生成的文本文件时报错找不到路径?
JupyterLab中文件保存失败,如何解决?
CodeLab
如何将git clone的py文件变为ipynb文件
Notebook里面运行的实例,如果重启,数据集会丢失么?
Jupyter可以安装插件吗?
是否支持在CodeLab中使用昇腾的卡进行训练?
如何在CodeLab上安装依赖?
PyCharm Toolkit使用
安装ToolKit工具时出现错误,如何处理?
PyCharm ToolKit工具中Edit Credential时,出现错误
为什么无法启动训练?
提交训练作业时,出现xxx isn't existed in train_version错误
提交训练作业报错“Invalid OBS path”
使用PyCharm Toolkit提交训练作业报错NoSuchKey
部署上线时,出现错误
如何查看PyCharm ToolKit的错误日志
如何通过PyCharm ToolKit创建多个作业同时训练?
使用PyCharm ToolKit ,提示Error occurs when accessing to OBS
VS Code使用技巧
安装远端插件时不稳定,需尝试多次
Notebook实例重新启动后,需要删除本地known_hosts才能连接
使用VS Code调试代码时不能进入源码
使用VS Code提交代码时弹出对话框提示用户名和用户邮箱配置错误
实例重新启动后,Notebook内安装的插件丢失
VS Code中查看远端日志
打开VS Code的配置文件settings.json
VS Code背景配置为豆沙绿
VS Code中设置远端默认安装的插件
VS Code中把本地的指定插件安装到远端或把远端插件安装到本地
Notebook如何离线安装VS Code Server
VS Code连接开发环境失败常见问题
在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,未弹出VS Code窗口
在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,VS Code打开后未进行远程连接
VS Code连接开发环境失败时的排查方法
远程连接出现弹窗报错:Could not establish connection to xxx
连接远端开发环境时,一直处于"Setting up SSH Host xxx: Downloading VS Code Server locally"超过10分钟以上,如何解决?
连接远端开发环境时,一直处于"Setting up SSH Host xxx: Copying VS Code Server to host with scp"超过10分钟以上,如何解决?
连接远端开发环境时,一直处于"ModelArts Remote Connect: Connecting to instance xxx..."超过10分钟以上,如何解决?
远程连接处于retry状态如何解决?
报错“The VS Code Server failed to start”如何解决?
报错“Permissions for 'x:/xxx.pem' are too open”如何解决?
报错“Bad owner or permissions on C:\Users\Administrator/.ssh/config”或“Connection permission denied (publickey)”如何解决?
报错“ssh: connect to host xxx.pem port xxxxx: Connection refused”如何解决?
报错"ssh: connect to host ModelArts-xxx port xxx: Connection timed out"如何解决?
报错“Load key "C:/Users/xx/test1/xxx.pem": invalid format”如何解决?
报错“An SSH installation couldn't be found”或者“Could not establish connection to instance xxx: 'ssh' ...”如何解决?
报错“no such identity: C:/Users/xx /test.pem: No such file or directory”如何解决?
报错“Host key verification failed.'或者'Port forwarding is disabled.”如何解决?
报错“Failed to install the VS Code Server.”或“tar: Error is not recoverable: exitng now.”如何解决?
VS Code连接远端Notebook时报错“XHR failed”
VS Code连接后长时间未操作,连接自动断开
VS Code自动升级后,导致远程连接时间过长
使用SSH连接,报错“Connection reset”如何解决?
使用MobaXterm工具SSH连接Notebook后,经常断开或卡顿,如何解决?
VS Code连接开发环境时报错Missing GLIBC,Missing required dependencies
使用VSCode-huawei,报错:卸载了‘ms-vscode-remote.remot-sdh’,它被报告存在问题
在Notebook中使用自定义镜像常见问题
不在同一个主账号下,如何使用他人的自定义镜像创建Notebook?
更多功能咨询
在Notebook中,如何使用昇腾多卡进行调试?
使用Notebook不同的资源规格,为什么训练速度差不多?
使用MoXing时,如何进行增量训练?
在Notebook中如何查看GPU使用情况
如何在代码中打印GPU使用信息
Ascend上如何查看实时性能指标?
不启用自动停止,系统会自动停掉Notebook实例吗?会删除Notebook实例吗?
JupyterLab目录的文件、Terminal的文件和OBS的文件之间的关系
ModelArts中创建的数据集,如何在Notebook中使用
pip介绍及常用命令
开发环境中不同Notebook规格资源“/cache”目录的大小
开发环境如何实现IAM用户隔离?
资源超分对Notebook实例有什么影响?
在Notebook中使用tensorboard命令打开日志文件报错Permission denied
Standard训练作业
功能咨询
是否支持图像分割任务的训练?
本地导入的算法有哪些格式要求?
欠拟合的解决方法有哪些?
旧版训练迁移至新版训练需要注意哪些问题?
ModelArts训练好后的模型如何获取?
AI引擎Scikit_Learn0.18.1的运行环境怎么设置?
TPE算法优化的超参数必须是分类特征(categorical features)吗
模型可视化作业中各参数的意义?
如何在ModelArts上获得RANK_TABLE_FILE进行分布式训练?
如何查询自定义镜像的cuda和cudnn版本?
Moxing安装文件如何获取?
如何使用soft NMS方法降低目标框堆叠度
多节点训练TensorFlow框架ps节点作为server会一直挂着,ModelArts是怎么判定训练任务结束?如何知道是哪个节点是worker呢?
训练作业的自定义镜像如何安装Moxing?
子用户使用专属资源池创建训练作业无法选择已有的SFS Turbo
训练过程读取数据
在ModelArts上训练模型,输入输出数据如何配置?
如何提升训练效率,同时减少与OBS的交互?
大量数据文件,训练过程中读取数据效率低?
使用Moxing时如何定义路径变量?
编写训练代码
训练模型时引用依赖包,如何创建训练作业?
训练作业常用文件路径是什么?
如何安装C++的依赖库?
训练作业中如何判断文件夹是否复制完毕?
如何在训练中加载部分训练好的参数?
训练作业的启动文件如何获取训练作业中的参数?
训练作业中使用os.system('cd xxx')无法进入相应的文件夹?
训练作业如何调用shell脚本,是否可以执行.sh文件?
训练代码中,如何获取依赖文件所在的路径?
自定义python包中如果引用model目录下的文件,文件路径怎么写
创建训练作业
创建训练作业时提示“对象目录大小/数量超过限制”,如何解决?
训练环境中不同规格资源“/cache”目录的大小
训练作业的“/cache”目录是否安全?
训练作业一直在等待中(排队)?
创建训练作业时,超参目录为什么有的是/work有的是/ma-user?
在ModelArts创建分布式训练时如何设置NCCL环境变量?
在ModelArts使用自定义镜像创建训练作业时如何激活conda环境?
管理训练作业版本
训练作业是否支持定时或周期调用?
查看作业详情
如何查看训练作业资源占用情况?
如何访问训练作业的后台?
两个训练作业的模型都保存在容器相同的目录下是否有冲突?
训练输出的日志只保留3位有效数字,是否支持更改loss值?
训练好的模型是否可以下载或迁移到其他账号?如何获取下载路径?
Standard推理部署
模型管理
导入模型
如何将Keras的.h5格式模型导入到ModelArts中
导入模型时,模型配置文件中的安装包依赖参数如何编写?
使用自定义镜像创建在线服务,如何修改默认端口
ModelArts平台是否支持多模型导入
导入AI应用对于镜像大小的限制
部署上线
功能咨询
ModelArts支持将模型部署为哪些类型的服务?
在线服务和批量服务有什么区别?
在线服务和边缘服务有什么区别?
为什么选择不了Ascend Snt3资源?
线上训练得到的模型是否支持离线部署在本地?
服务预测请求体大小限制是多少?
在线服务部署是否支持包周期?
部署服务如何选择计算节点规格?
部署GPU服务支持的Cuda版本是多少?
在线服务
部署在线服务时,自定义预测脚本python依赖包出现冲突,导致运行出错
在线服务预测时,如何提高预测速度?
调整模型后,部署新版本AI应用能否保持原API接口不变?
在线服务的API接口组成规则是什么?
在线服务运行中但是预测失败时,如何排查报错是不是模型原因导致的
在线服务处于运行中状态时,如何填写推理请求的request header和request body
作为调用发起方的客户端无法访问已经获取到的推理请求地址
服务部署失败,报错ModelArts.3520,服务总数超限
配置了合理的服务部署超时时间,服务还是部署失败,无法启动
边缘服务
什么是边缘节点?
更新AI应用版本时,边缘服务预测功能不可用?
使用边缘节点部署边缘服务能否使用http接口协议?
Standard资源池
ModelArts支持使用ECS创建专属资源池吗?
1个节点的专属资源池,能否部署多个服务?
专属资源池购买后,中途扩容了一个节点,如何计费?
共享池和专属池的区别是什么?
如何通过ssh登录专属资源池节点?
训练任务的排队逻辑是什么?
专属资源池下的在线服务停止后,启动新的在线服务,提示资源不足
不同实例的资源池安装的cuda和驱动版本号分别是什么?
算法运行时需要依赖鉴权服务,公共资源池是否支持两者打通网络?
创建失败的专属资源池删除后,控制台为什么还能看到?
训练专属资源池如何与SFS弹性文件系统配置对等链接?
Lite Server
GPU A系列裸金属服务器如何进行RoCE性能带宽测试?
GPU A系列裸金属服务器节点内如何进行NVLINK带宽性能测试方法?
如何将Ubuntu20.04内核版本从低版本升级至5.4.0-144-generic?
如何禁止Ubuntu 20.04内核自动升级?
哪里可以了解Atlas800训练服务器硬件相关内容
使用GPU A系列裸金属服务器有哪些注意事项?
GPU A系列裸金属服务器如何更换NVIDIA和CUDA?
Lite Cluster
Cluster资源池如何进行NCCl Test?
AI Gallery
AI Gallery的入口在哪里
在AI Gallery订阅商品失败怎么办?
在AI Gallery订阅的数据集可以在SDK中使用吗?
AI Gallery支持哪些区域?
AI Gallery下载数据到OBS中使用的带宽是用户自己的还是华为云的?
API/SDK
ModelArts SDK、OBS SDK和MoXing的区别?
ModelArts的API或SDK支持模型下载到本地吗?
ModelArts的SDK支持哪些安装环境?
ModelArts通过OBS的API访问OBS中的文件,算内网还是公网?
调用API提交训练作业后,能否绘制作业的资源占用率曲线?
如何使用API接口获取订阅算法的订阅id和版本id?
使用SDK如何查看旧版专属资源池列表?
调用API接口创建训练作业和部署服务时,如何填写资源池的参数?
视频帮助
文档下载
通用参考
产品术语
云服务等级协议(SLA)
白皮书资源
支持区域
系统权限