文档首页> AI开发平台ModelArts> 常见问题> 一般性问题> ModelArts支持哪些AI框架?
更新时间:2023-12-06 GMT+08:00

ModelArts支持哪些AI框架?

ModelArts的开发环境Notebook、训练作业、模型推理(即AI应用管理和部署上线)支持的AI框架及其版本,不同模块的呈现方式存在细微差异,各模块支持的AI框架请参见如下描述。

开发环境Notebook

开发环境的Notebook,根据不同的工作环境,对应支持的镜像和版本有所不同。

表1 新版Notebook支持的镜像

镜像名称

镜像描述

适配芯片

支持SSH远程开发访问

支持在线JupyterLab访问

pytorch1.8-cuda10.2-cudnn7-ubuntu18.04

CPU、GPU通用算法开发和训练基础镜像,预置AI引擎PyTorch1.8

CPU/GPU

mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04

CPU and GPU general algorithm development and training, preconfigured with AI engine MindSpore1.7.0 and cuda 10.1

CPU/GPU

mindspore1.7.0-py3.7-ubuntu18.04

CPU general algorithm development and training, preconfigured with AI engine MindSpore1.7.0

CPU

pytorch1.10-cuda10.2-cudnn7-ubuntu18.04

CPU and GPU general algorithm development and training, preconfigured with AI engine PyTorch1.10 and cuda10.2

CPU/GPU

tensorflow2.1-cuda10.1-cudnn7-ubuntu18.04

CPU、GPU通用算法开发和训练基础镜像,预置AI引擎TensorFlow2.1

CPU/GPU

conda3-ubuntu18.04

Clean user customized base image only include conda

CPU

pytorch1.4-cuda10.1-cudnn7-ubuntu18.04

CPU、GPU通用算法开发和训练基础镜像,预置AI引擎PyTorch1.4

CPU/GPU

tensorflow1.13-cuda10.0-cudnn7-ubuntu18.04

GPU通用算法开发和训练基础镜像,预置AI引擎TensorFlow1.13.1

GPU

conda3-cuda10.2-cudnn7-ubuntu18.04

Clean user customized base image include cuda10.2, conda

CPU

spark2.4.5-ubuntu18.04

CPU algorithm development and training, prebuilt PySpark 2.4.5 and is able to attach to preconfigured spark cluster including MRS and DLI.

CPU

mindspore1.2.0-cuda10.1-cudnn7-ubuntu18.04

GPU算法开发和训练基础镜像,预置AI引擎MindSpore-GPU

GPU

mindspore1.2.0-openmpi2.1.1-ubuntu18.04

CPU算法开发和训练基础镜像,预置AI引擎MindSpore-CPU

CPU

训练作业

创建训练作业时,训练支持的AI引擎及对应版本如下所示。

新版预置引擎命名格式如下:

<训练引擎名称_版本号>-[cpu | <cuda_版本号 | cann_版本号 >]-<py_版本号>-<操作系统名称_版本号>-< x86_64 | aarch64>
表2 新版训练作业支持的AI引擎

工作环境

适配芯片

系统架构

系统版本

AI引擎与版本

支持的cuda或Ascend版本

TensorFlow

CPU/GPU

x86_64

Ubuntu18.04

tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64

cuda10.1

PyTorch

CPU/GPU

x86_64

Ubuntu18.04

pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64

cuda10.2

MPI

GPU

x86_64

Ubuntu18.04

mindspore_1.3.0-cuda_10.1-py_3.7-ubuntu_1804-x86_64

cuda_10.1

Horovod

GPU

x86_64

ubuntu_18.04

horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64

cuda_10.1

horovod_0.22.1-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64

cuda_10.2

不同区域支持的AI引擎有差异,请以实际环境为准。

推理支持的AI引擎

在ModelArts创建AI应用时,若使用预置镜像“从模板中选择”或“从OBS中选择”导入模型,则支持如下常用引擎及版本的模型包。

  • 标注“推荐”的Runtime来源于统一镜像,后续统一镜像将作为主流的推理基础镜像。统一镜像中的安装包更齐全,详细信息可以参见推理基础镜像列表
  • 推荐将旧版镜像切换为统一镜像,旧版镜像后续将会逐渐下线。
  • 待下线的基本镜像不再维护。
  • 统一镜像Runtime的命名规范:<AI引擎名字及版本> - <硬件及版本:cpu或cuda或cann> - <python版本> - <操作系统版本> - <CPU架构>
表3 支持的常用引擎及其Runtime

模型使用的引擎类型

支持的运行环境(Runtime)

注意事项

TensorFlow

python3.6

python2.7(待下线)

tf1.13-python3.6-gpu

tf1.13-python3.6-cpu

tf1.13-python3.7-cpu

tf1.13-python3.7-gpu

tf2.1-python3.7(待下线)

tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64(推荐)

  • python2.7、python3.6的运行环境搭载的TensorFlow版本为1.8.0。
  • python3.6、python2.7、tf2.1-python3.7,表示该模型可同时在CPU或GPU运行。其他Runtime的值,如果后缀带cpu或gpu,表示该模型仅支持在CPU或GPU中运行。
  • 默认使用的Runtime为python2.7。

Spark_MLlib

python2.7(待下线)

python3.6(待下线)

  • python2.7以及python3.6的运行环境搭载的Spark_MLlib版本为2.3.2。
  • 默认使用的Runtime为python2.7。
  • python2.7、python3.6只能用于运行适用于CPU的模型。

Scikit_Learn

python2.7(待下线)

python3.6(待下线)

  • python2.7以及python3.6的运行环境搭载的Scikit_Learn版本为0.18.1。
  • 默认使用的Runtime为python2.7。
  • python2.7、python3.6只能用于运行适用于CPU的模型。

XGBoost

python2.7(待下线)

python3.6(待下线)

  • python2.7以及python3.6的运行环境搭载的XGBoost版本为0.80。
  • 默认使用的Runtime为python2.7。
  • python2.7、python3.6只能用于运行适用于CPU的模型。

PyTorch

python2.7(待下线)

python3.6

python3.7

pytorch1.4-python3.7

pytorch1.5-python3.7(待下线)

pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64(推荐)

  • python2.7、python3.6、python3.7的运行环境搭载的PyTorch版本为1.0。
  • python2.7、python3.6、python3.7、pytorch1.4-python3.7、pytorch1.5-python3.7,表示该模型可同时在CPU或GPU运行。
  • 默认使用的Runtime为python2.7。

MindSpore

aarch64(推荐)

aarch64只能用于运行在Snt3芯片上。