AI开发平台ModelArtsAI开发平台ModelArts

文档首页> AI开发平台ModelArts> 常见问题> 一般性问题> ModelArts支持哪些AI框架?
更新时间:2021/09/22 GMT+08:00
分享

ModelArts支持哪些AI框架?

ModelArts的开发环境、训练作业、模型推理(即模型管理和部署上线)支持的AI框架及其版本,不同模块的呈现方式存在细微差异,各模块支持的AI框架请参见如下描述。

开发环境

开发环境的Notebook,根据不同的工作环境(即不同Python版本),对应支持的AI引擎和版本有所不同。

表1 新版开发环境支持的AI引擎

镜像名称

镜像描述

适配芯片

支持SSH远程开发访问

支持在线JupyterLab访问

pytorch1.4-cuda10.1-cudnn7-ubuntu18.04

CPU、GPU通用算法开发和训练基础镜像,预置AI引擎PyTorch1.4

CPU/GPU

tensorflow2.1-cuda10.1-cudnn7-ubuntu18.04

CPU、GPU通用算法开发和训练基础镜像,预置AI引擎TensorFlow2.1

CPU/GPU

mindspore1.2.0-openmpi2.1.1-ubuntu18.04

CPU算法开发和训练基础镜像,预置AI引擎MindSpore-CPU

CPU

mindspore1.2.0-cuda10.1-cudnn7-ubuntu18.04

GPU算法开发和训练基础镜像,预置AI引擎MindSpore-GPU

GPU

mlstudio-pyspark2.3.2-ubuntu16.04

CPU算法开发和训练基础镜像,包含可以图形化机器学习算法开发和调测MLStudio工具,并预置PySpark2.3.2

CPU

mindstudio3.0.1-ascend910-cann3.3.0-ubuntu18.04-aarch64

Ascend算子开发基础镜像,预置专业级算子开发工具MindStudio,仅支持SSH链接

Ascend 910

tensorflow1.15-mindspore1.2.0-cann20.2-euler2.8-aarch64

Ascend+ARM算法开发和训练基础镜像,预置AI引擎TensorFlow1.15和MindSpore1.2.0

Ascend 910

表2 旧版开发环境支持的AI引擎

工作环境名称

预置的AI引擎及版本

适配芯片

Multi-Engine 1.0 (python3 Recommended)

MXNet-1.2.1

CPU/GPU

PySpark-2.3.2

CPU

Pytorch-1.0.0

GPU

TensorFlow-1.13.1

CPU/GPU

TensorFlow-1.8

CPU/GPU

XGBoost-Sklearn

CPU

Multi-Engine 1.0 (python2)

Caffe-1.0.0

CPU/GPU

MXNet-1.2.1

CPU/GPU

PySpark-2.3.2

CPU

PyTorch1.0.0

GPU

TensorFlow-1.13.1

CPU/GPU

TensorFlow-1.8

CPU/GPU

XGBoost-Sklearn

CPU

Multi-Engine 2.0 (python3)

Pytorch-1.4.0

GPU

R-3.6.1

CPU/GPU

TensorFlow-2.1.0

CPU/GPU

Ascend-Powered-Engine 1.0 (python3)

MindSpore-1.1.1

Ascend 910

TensorFlow-1.15.0

Ascend 910

训练作业

当前ModelArts同时存在新版训练和旧版训练。新版训练和旧版训练的预置训练引擎存在差异。ModelArts推荐您使用新版训练创建训练作业。在创建训练作业时,优先使用新版的预置引擎,如果您需要的引擎仅在旧版支持,也支持您在新版训练中使用旧版预置引擎。

表3 旧版训练作业支持的AI引擎

工作环境

适配芯片

系统架构

系统版本

AI引擎与版本

支持的cuda或Ascend版本

TensorFlow

CPU/GPU

x86_64

Ubuntu16.04

TF-1.8.0-python3.6

cuda9.0

TF-1.8.0-python2.7

cuda9.0

TF-1.13.1-python3.6

cuda10.0

TF-1.13.1-python2.7

cuda10.0

TF-2.1.0-python3.6

cuda10.1

MXNet

CPU/GPU

x86_64

Ubuntu16.04

MXNet-1.2.1-python3.6

cuda9.0

MXNet-1.2.1-python2.7

cuda9.0

Caffe

CPU/GPU

x86_64

Ubuntu16.04

Caffe-1.0.0-python2.7

cuda8.0

Spark_MLlib

CPU

x86_64

Ubuntu16.04

Spark-2.3.2-python2.7

-

Spark-2.3.2-python3.6

-

Ray

CPU/GPU

x86_64

Ubuntu16.04

RAY-0.7.4-python3.6

cuda10.0

XGBoost-Sklearn

CPU

x86_64

Ubuntu16.04

Scikit_Learn-0.18.1-python2.7

-

Scikit_Learn-0.18.1-python3.6

-

PyTorch

CPU/GPU

x86_64

Ubuntu16.04

PyTorch-1.0.0-python2.7

cuda9.0

PyTorch-1.0.0-python3.6

cuda9.0

PyTorch-1.3.0-python2.7

cuda10.0

PyTorch-1.3.0-python3.6

cuda10.0

PyTorch-1.4.0-python3.6

cuda10.1

Ascend-Powered-Engine

Ascend910

aarch64

Euler2.8

Mindspore-1.1.1-python3.7-aarch64

21.0.0

TF-1.15-python3.7-aarch64

21.0.0

MindSpore-GPU

CPU/GPU

x86_64

Ubuntu18.04

MindSpore-1.1.0-python3.7

cuda10.1

新版预置引擎命名格式如下:

<训练引擎名称_版本号>-[cpu | <cuda_版本号 | cann_版本号 >]--<py_版本号><操作系统名称_版本号>-< x86_64 | aarch64>
表4 新版训练作业支持的AI引擎

工作环境

适配芯片

系统架构

系统版本

AI引擎与版本

支持的cuda或Ascend版本

TensorFlow

CPU/GPU

x86_64

Ubuntu18.04

tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64

cuda10.1

PyTorch

CPU/GPU

x86_64

Ubuntu18.04

pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64

cuda10.2

Ascend-Powered-Engine

Ascend910

aarch64

Euler2.8

mindspore_1.3.0-cann_5.0.2-py_3.7-euler_2.8.3-aarch64

cann_5.0.2

tensorflow_1.15-cann_5.0.2-py_3.7-euler_2.8.3-aarch64

cann_5.0.2

MPI

CPU/GPU

x86_64

Ubuntu18.04

mindspore_1.3.0-cuda_10.1-py_3.7-ubuntu_1804-x86_64

cuda_10.1

Horovod

GPU

x86_64

ubuntu_18.04

horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64

cuda_10.1

horovod_0.22.1-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64

cuda_10.2

KungFu

CPU/GPU

x86_64

Ubuntu18.04

KF-0.2.2-TF-1.13.1-python3.6

-

  • Ascend-Powered-Engine仅在“华北-北京四”区域支持。

模型推理

针对导入模型,并在ModelArts完成模型推理的。支持如下常用引擎及版本。

表5 支持的常用引擎及其Runtime

模型使用的引擎类型

支持的运行环境(Runtime)

注意事项

TensorFlow

python3.6

python2.7

tf1.13-python2.7-gpu

tf1.13-python2.7-cpu

tf1.13-python3.6-gpu

tf1.13-python3.6-cpu

tf1.13-python3.7-cpu

tf1.13-python3.7-gpu

tf2.1-python3.7

  • python2.7、python3.6的运行环境搭载的TensorFlow版本为1.8.0。
  • python3.6、python2.7、tf2.1-python3.7,表示该模型可同时在CPU或GPU运行。其他Runtime的值,如果后缀带cpu或gpu,表示该模型仅支持在CPU或GPU中运行。
  • 默认使用的Runtime为python2.7。

MXNet

python3.7

python3.6

python2.7

  • python2.7、python3.6、python3.7的运行环境搭载的MXNet版本为1.2.1。
  • python2.7、python3.6、python3.7,表示该模型可同时在CPU或GPU运行。
  • 默认使用的Runtime为python2.7。

Caffe

python2.7

python3.6

python3.7

python2.7-gpu

python3.6-gpu

python3.7-gpu

python2.7-cpu

python3.6-cpu

python3.7-cpu

  • python2.7、python3.6、python3.7、python2.7-gpu、python3.6-gpu、python3.7-gpu、python2.7-cpu、python3.6-cpu、python3.7-cpu的运行环境搭载的Caffe版本为1.0.0。
  • python2.7、python3.6、python3.7只能用于运行适用于CPU的模型。其他Runtime的值,如果后缀带cpu或gpu,表示该模型仅支持在CPU或GPU中运行。推荐使用python2.7-gpu、python3.6-gpu、python3.7-gpu、python2.7-cpu、python3.6-cpu、python3.7-cpu的Runtime。
  • 默认使用的Runtime为python2.7。

Spark_MLlib

python2.7

python3.6

  • python2.7以及python3.6的运行环境搭载的Spark_MLlib版本为2.3.2。
  • 默认使用的Runtime为python2.7。
  • python2.7、python3.6只能用于运行适用于CPU的模型。

Scikit_Learn

python2.7

python3.6

  • python2.7以及python3.6的运行环境搭载的Scikit_Learn版本为0.18.1。
  • 默认使用的Runtime为python2.7。
  • python2.7、python3.6只能用于运行适用于CPU的模型。

XGBoost

python2.7

python3.6

  • python2.7以及python3.6的运行环境搭载的XGBoost版本为0.80。
  • 默认使用的Runtime为python2.7。
  • python2.7、python3.6只能用于运行适用于CPU的模型。

PyTorch

python2.7

python3.6

python3.7

pytorch1.4-python3.7

  • python2.7、python3.6、python3.7的运行环境搭载的PyTorch版本为1.0。
  • python2.7、python3.6、python3.7、pytorch1.4-python3.7,表示该模型可同时在CPU或GPU运行。
  • 默认使用的Runtime为python2.7。
分享:

一般性问题 所有常见问题

more