全部文档
AI开发平台ModelArtsAI开发平台ModelArts
- 最新动态
- 功能总览
- 产品介绍
- 准备工作
- 快速入门
- 自动学习
- 开发工具
- 数据准备与分析
- 数据处理
- 数据标注
- 模型开发
- 模型封装
- 推理部署
- AI Gallery
- 最佳实践
-
AI工程师用户指南
- AI工程师如何使用ModelArts
- 免费体验ModelArts
- 数据管理（New）
- 数据管理（旧版即将下线）
- 开发环境（New）
- 开发环境（旧版即将下线）
- 训练管理（New）
- 训练管理（旧版即将下线）
- 模型管理（即将下线）
- 部署服务（即将下线）
- 资源池
- 使用自定义镜像
- 模型包规范（即将下线）
- 模型模板（即将下线）
- 自定义脚本代码示例
- 权限管理
- 监控
- 审计日志
- 建议反馈
- 将MLS业务迁移至ModelArts
- 修订记录
- 工具指南
- MoXing开发指南
- SDK参考
- API参考
-
常见问题
-
一般性问题
- 什么是ModelArts
- ModelArts与其他服务的关系
- ModelArts与DLS服务的区别？
- ModelArts与MLS服务的区别？
- 如何购买或开通ModelArts？
- 支持哪些型号的Ascend芯片？
- 如何获取访问密钥？
- 如何上传数据至OBS？
- 提示“上传的AK/SK不可用”，如何解决？
- 使用ModelArts时提示“权限不足”，如何解决？
- 如何用ModelArts训练基于结构化数据的模型？
- 什么是区域、可用区？
- 数据已上传OBS，使用ModelArts为什么无法找到对应的OBS桶？
- 在ModelArts中如何查看OBS目录下的所有文件？
- ModelArts数据集保存到容器的哪里？
- ModelArts支持哪些AI框架？
- ModelArts训练和推理分别对应哪些功能？
- MindSpore相关问题如何解决？
- 如何查看帐号ID和IAM用户ID
- ModelArts AI识别可以单独针对一个标签识别吗?
- 计费相关
- 自动学习
- 数据管理
- Notebook
- 训练作业
- 模型管理
- 部署上线
- 资源池
- AI Gallery
- API/SDK
- 修订记录
-
一般性问题
-
故障排除
- 自动学习
- 开发环境
-
训练作业
-
OBS操作相关故障
- 读取文件报错，如何正确读取文件？
- TensorFlow-1.8作业连接OBS时反复出现提示错误
- TensorFlow在OBS写入TensorBoard到达5GB时停止
- 保存模型时出现Unable to connect to endpoint错误
- 训练作业日志中提示“No such file or directory”，如何解决？
- OBS拷贝过程中提示“BrokenPipeError: Broken pipe”
- 日志提示“ValueError: Invalid endpoint: obs.xxxx.com”
- 日志提示“errorMessage:The specified bucket does not exist”
-
云上迁移适配故障
- 无法导入模块
- 训练作业日志中提示“No module named .*”
- 如何安装第三方包，安装报错的处理方法
- 下载代码目录失败
- 训练作业日志中提示“No such file or directory”
- 训练过程中无法找到so文件
- 无法解析参数，日志报错
- 训练输出路径被其他作业使用
- 使用自定义镜像创建训练作业，找不到启动文件
- Pytorch1.0引擎提示“RuntimeError: std::exception”
- MindSpore日志提示“ retCode=0x91, [the model stream execute failed]”
- 使用moxing适配OBS路径，pandas读取文件报错
- 日志提示“Please upgrade numpy to >= xxx to use this pandas version”
- 重装的包与镜像装CUDA版本不匹配
- 创建训练作业提示错误码ModelArts.2763
- 内存限制故障
- 外网访问限制
- 权限问题
- GPU相关问题
-
业务代码问题
- 日志提示“pandas.errors.ParserError: Error tokenizing data. C error: Expected .* fields”
- 日志提示“max_pool2d_with_indices_out_cuda_frame failed with error code 0”
- 训练作业失败，返回错误码139
- 训练作业失败，如何使用云上环境调试训练代码？
- 日志提示“ '(slice(0, 13184, None), slice(None, None, None))' is an invalid key”
- 日志报错“DataFrame.dtypes for data must be int, float or bool”
- 日志提示“CUDNN_STATUS_NOT_SUPPORTED. ”
- 日志提示“Out of bounds nanosecond timestamp”
- 日志提示“Unexpected keyword argument passed to optimizer”
- 日志提示“no socket interface found”
- 分布式Tensorflow无法使用“tf.variable”
- MXNet创建kvstore时程序被阻塞，无报错
- 日志出现ECC错误，导致训练作业失败
- 超过最大递归深度导致训练作业失败
- 使用预置算法训练时，训练失败，报“bndbox”错误
- 训练作业状态显示“审核作业初始化”
- 训练作业进程异常退出
- 训练作业进程被kill
-
OBS操作相关故障
- 模型管理
- MoXing
- 修订记录
- 视频帮助
- 文档下载
链接复制成功！
使用自定义脚本简介
如果订阅算法不能满足需求或者用户希望迁移本地算法至云上训练，可以考虑使用ModelArts支持的预置训练引擎实现算法构建。这种方式在创建算法时被称为“使用自定义脚本”模式。
以下章节介绍了如何使用自定义脚本创建算法。
- 如果需要了解ModelArts模型训练支持的预置和模型，请参考使用自定义脚本简介章节。
- 本地开发的算法迁移至ModelArts需要做代码适配，如何适配请参考开发自定义脚本章节。
- 通过ModelArts控制台界面使用自定义脚本创建算法可以参考创建算法章节。
- 完成算法开发后，您可以将个人开发算法免费分享给他人使用，请参考发布免费算法章节。
预置的训练引擎
当前ModelArts支持的训练引擎及对应版本如下所示。
工作环境 |
适配芯片 |
系统架构 |
系统版本 |
AI引擎与版本 |
支持的cuda或Ascend版本 |
|---|---|---|---|---|---|
TensorFlow |
CPU/GPU |
x86_64 |
Ubuntu18.04 |
tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 |
cuda10.1 |
PyTorch |
CPU/GPU |
x86_64 |
Ubuntu18.04 |
pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 |
cuda10.2 |
Ascend-Powered-Engine |
Ascend910 |
aarch64 |
Euler2.8 |
mindspore_1.3.0-cann_5.0.2-py_3.7-euler_2.8.3-aarch64 |
cann_5.0.2 |
mindspore_1.5.1-cann_5.0.3-py_3.7-euler_2.8.3-aarch64 |
cann_5.0.3 |
||||
tensorflow_1.15-cann_5.0.2-py_3.7-euler_2.8.3-aarch64 |
cann_5.0.2 |
||||
tensorflow_1.15-cann_5.0.3-py_3.7-euler_2.8.3-aarch64 |
cann_5.0.3 |
||||
MPI |
CPU/GPU |
x86_64 |
Ubuntu18.04 |
mindspore_1.3.0-cuda_10.1-py_3.7-ubuntu_1804-x86_64 |
cuda_10.1 |
Horovod |
GPU |
x86_64 |
ubuntu_18.04 |
horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 |
cuda_10.1 |
horovod_0.22.1-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 |
cuda_10.2 |
||||
KungFu |
CPU/GPU |
x86_64 |
Ubuntu18.04 |
KF-0.2.2-TF-1.13.1-python3.6 |
- |
- MoXing是ModelArts团队自研的分布式训练加速框架，它构建于开源的深度学习引擎TensorFlow、MXNet、PyTorch、Keras之上，详细说明请参见MoXing使用说明。如果您使用的是MoXing框架编写训练脚本，在创建训练作业时，请根据您选用的接口选择其对应的AI引擎和版本。
- “efficient_ai”是华为云ModelArts团队自研的加速压缩工具，它支持对训练作业进行量化、剪枝和蒸馏来加速模型推理速度，详细说明请参见efficient_ai使用说明。
- Ascend-Powered-Engine仅在“华北-北京四”区域支持。
新旧版训练预置引擎差异
- 新版的预置训练引擎默认安装Moxing2.0.0及以上版本。
- 新版的预置训练引擎统一使用了Python3.7及以上版本。
- 新版镜像修改了默认的HOME目录，由“/home/work”变为“/home/ma-user”，请注意识别训练代码中是否有“/home/work”的硬编码。
- 提供预置引擎类型有差异。新版的预置引擎在常用的训练引擎上进行了升级。如果您需要使用旧版训练引擎，单击显示旧版引擎即可选择旧版引擎。新旧版支持的预置引擎差异请参考表2。详细的训练引擎版本说明请参考新版训练和旧版训练分别支持的AI引擎。
表2 新旧版预置引擎差异 工作环境
预置训练I引擎与版本
旧版训练
新版训练
TensorFlow
Tensorflow-1.8.0
√
x
Tensorflow-1.13.1
√
后续版本支持
Tensorflow-2.1.0
√
√
MXNet
MXNet-1.2.1
√
x
Caffe
Caffe-1.0.0
√
x
Spark_MLlib
Spark-2.3.2
√
x
Ray
RAY-0.7.4
√
x
XGBoost-Sklearn
Scikit_Learn-0.18.1
√
x
PyTorch
PyTorch-1.0.0
√
x
PyTorch-1.3.0
√
x
PyTorch-1.4.0
√
x
PyTorch-1.8.0
x
√
Ascend-Powered-Engine
Mindspore-1.1.1
√
x
Mindspore-1.3.0
x
√
Tensorflow-1.15
√
√
MPI
MindSpore-1.1.0
√
x
MindSpore-1.3.0
x
√
Horovod
horovod_0.20.0-tensorflow_2.1.0
x
√
horovod_0.20.0-pytorch_1.8.0
x
√
