更新时间:2024-11-15 GMT+08:00

Standard支持的AI框架

ModelArts Standard的开发环境Notebook、训练作业、模型推理(即AI应用管理和部署上线)支持的AI框架及其版本,请参见如下描述。

统一镜像列表

ModelArts提供了ARM+Ascend规格的统一镜像,包括MindSpore、PyTorch。适用于Standard开发环境,模型训练,服务部署,请参考下表。

表1 MindSpore

预置镜像

适配芯片

适用范围

适用区域

mindspore_2.2.0-cann_7.0.1-py_3.9-euler_2.10.7-aarch64-snt9b

Ascend snt9b

Notebook、训练、推理部署

中国-香港

表2 PyTorch

预置镜像

适配芯片

适用范围

适用区域

pytorch_2.1.0-cann_7.0.1-py_3.9-euler_2.10.7-aarch64-snt9b

Ascend snt9b

Notebook、训练、推理部署

中国-香港

pytorch_1.11.0-cann_7.0.1-py_3.9-euler_2.10.7-aarch64-snt9b

Ascend snt9b

Notebook、训练、推理部署

中国-香港

开发环境Notebook

开发环境的Notebook,根据不同的工作环境,对应支持的镜像和版本有所不同。

表3 新版Notebook支持的镜像

镜像名称

镜像描述

适配芯片

支持SSH远程开发访问

支持在线JupyterLab访问

pytorch1.8-cuda10.2-cudnn7-ubuntu18.04

CPU、GPU通用算法开发和训练基础镜像,预置AI引擎PyTorch1.8

CPU/GPU

mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04

CPU and GPU general algorithm development and training, preconfigured with AI engine MindSpore1.7.0 and cuda 10.1

CPU/GPU

mindspore1.7.0-py3.7-ubuntu18.04

CPU general algorithm development and training, preconfigured with AI engine MindSpore1.7.0

CPU

pytorch1.10-cuda10.2-cudnn7-ubuntu18.04

CPU and GPU general algorithm development and training, preconfigured with AI engine PyTorch1.10 and cuda10.2

CPU/GPU

tensorflow2.1-cuda10.1-cudnn7-ubuntu18.04

CPU、GPU通用算法开发和训练基础镜像,预置AI引擎TensorFlow2.1

CPU/GPU

conda3-ubuntu18.04

Clean user customized base image only include conda

CPU

pytorch1.4-cuda10.1-cudnn7-ubuntu18.04

CPU、GPU通用算法开发和训练基础镜像,预置AI引擎PyTorch1.4

CPU/GPU

tensorflow1.13-cuda10.0-cudnn7-ubuntu18.04

GPU通用算法开发和训练基础镜像,预置AI引擎TensorFlow1.13.1

GPU

conda3-cuda10.2-cudnn7-ubuntu18.04

Clean user customized base image include cuda10.2, conda

CPU

spark2.4.5-ubuntu18.04

CPU algorithm development and training, prebuilt PySpark 2.4.5 and is able to attach to preconfigured spark cluster including MRS and DLI.

CPU

mindspore1.2.0-cuda10.1-cudnn7-ubuntu18.04

GPU算法开发和训练基础镜像,预置AI引擎MindSpore-GPU

GPU

mindspore1.2.0-openmpi2.1.1-ubuntu18.04

CPU算法开发和训练基础镜像,预置AI引擎MindSpore-CPU

CPU

训练作业

创建训练作业时,训练支持的AI引擎及对应版本如下所示。

预置引擎命名格式如下:
<训练引擎名称_版本号>-[cpu | <cuda_版本号 | cann_版本号 >]-<py_版本号>-<操作系统名称_版本号>-< x86_64 | aarch64>
表4 训练作业支持的AI引擎

工作环境

系统架构

系统版本

AI引擎与版本

支持的CUDA或Ascend版本

TensorFlow

x86_64

Ubuntu18.04

tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64

cuda10.1

PyTorch

x86_64

Ubuntu18.04

pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64

cuda10.2

MPI

x86_64

Ubuntu18.04

mindspore_1.3.0-cuda_10.1-py_3.7-ubuntu_1804-x86_64

cuda_10.1

Horovod

x86_64

ubuntu_18.04

horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64

cuda_10.1

horovod_0.22.1-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64

cuda_10.2

不同区域支持的AI引擎有差异,请以实际环境为准。

推理支持的AI引擎

在ModelArts创建AI应用时,若使用预置镜像“从模板中选择”或“从OBS中选择”导入模型,则支持如下常用引擎及版本的模型包。

  • 标注“推荐”的Runtime来源于统一镜像,后续统一镜像将作为主流的推理基础镜像。统一镜像中的安装包更齐全,详细信息可以参见推理基础镜像列表
  • 推荐将旧版镜像切换为统一镜像,旧版镜像后续将会逐渐下线。
  • 待下线的基本镜像不再维护。
  • 统一镜像Runtime的命名规范:<AI引擎名字及版本> - <硬件及版本:cpu或cuda或cann> - <python版本> - <操作系统版本> - <CPU架构>
表5 支持的常用引擎及其Runtime

模型使用的引擎类型

支持的运行环境(Runtime)

注意事项

TensorFlow

python3.6

python2.7(待下线)

tf1.13-python3.6-gpu

tf1.13-python3.6-cpu

tf1.13-python3.7-cpu

tf1.13-python3.7-gpu

tf2.1-python3.7(待下线)

tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64(推荐)

  • python2.7、python3.6的运行环境搭载的TensorFlow版本为1.8.0。
  • python3.6、python2.7、tf2.1-python3.7,表示该模型可同时在CPU或GPU运行。其他Runtime的值,如果后缀带cpu或gpu,表示该模型仅支持在CPU或GPU中运行。
  • 默认使用的Runtime为python2.7。

Spark_MLlib

python2.7(待下线)

python3.6(待下线)

  • python2.7以及python3.6的运行环境搭载的Spark_MLlib版本为2.3.2。
  • 默认使用的Runtime为python2.7。
  • python2.7、python3.6只能用于运行适用于CPU的模型。

Scikit_Learn

python2.7(待下线)

python3.6(待下线)

  • python2.7以及python3.6的运行环境搭载的Scikit_Learn版本为0.18.1。
  • 默认使用的Runtime为python2.7。
  • python2.7、python3.6只能用于运行适用于CPU的模型。

XGBoost

python2.7(待下线)

python3.6(待下线)

  • python2.7以及python3.6的运行环境搭载的XGBoost版本为0.80。
  • 默认使用的Runtime为python2.7。
  • python2.7、python3.6只能用于运行适用于CPU的模型。

PyTorch

python2.7(待下线)

python3.6

python3.7

pytorch1.4-python3.7

pytorch1.5-python3.7(待下线)

pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64(推荐)

  • python2.7、python3.6、python3.7的运行环境搭载的PyTorch版本为1.0。
  • python2.7、python3.6、python3.7、pytorch1.4-python3.7、pytorch1.5-python3.7,表示该模型可同时在CPU或GPU运行。
  • 默认使用的Runtime为python2.7。

MindSpore

aarch64(推荐)

aarch64只能用于运行在Snt3芯片上。