ModelArts支持哪些AI框架?
ModelArts的开发环境Notebook、训练作业、模型推理(即AI应用管理和部署上线)支持的AI框架及其版本,不同模块的呈现方式存在细微差异,各模块支持的AI框架请参见如下描述。
开发环境Notebook
开发环境的Notebook,根据不同的工作环境,对应支持的镜像和版本有所不同。
| 镜像名称 | 镜像描述 | 适配芯片 | 支持SSH远程开发访问 | 支持在线JupyterLab访问 |
|---|---|---|---|---|
| pytorch1.8-cuda10.2-cudnn7-ubuntu18.04 | CPU、GPU通用算法开发和训练基础镜像,预置AI引擎PyTorch1.8 | CPU/GPU | 是 | 是 |
| mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04 | CPU and GPU general algorithm development and training, preconfigured with AI engine MindSpore1.7.0 and cuda 10.1 | CPU/GPU | 是 | 是 |
| mindspore1.7.0-py3.7-ubuntu18.04 | CPU general algorithm development and training, preconfigured with AI engine MindSpore1.7.0 | CPU | 是 | 是 |
| pytorch1.10-cuda10.2-cudnn7-ubuntu18.04 | CPU and GPU general algorithm development and training, preconfigured with AI engine PyTorch1.10 and cuda10.2 | CPU/GPU | 是 | 是 |
| tensorflow2.1-cuda10.1-cudnn7-ubuntu18.04 | CPU and GPU general algorithm development and training, preconfigured with AI engine TensorFlow2.1 | CPU/GPU | 是 | 是 |
| conda3-ubuntu18.04 | Clean user customized base image only include conda | CPU | 是 | 是 |
| pytorch1.4-cuda10.1-cudnn7-ubuntu18.04 | CPU、GPU通用算法开发和训练基础镜像,预置AI引擎PyTorch1.4 | CPU/GPU | 是 | 是 |
| tensorflow1.13-cuda10.0-cudnn7-ubuntu18.04 | GPU通用算法开发和训练基础镜像,预置AI引擎TensorFlow1.13.1 | GPU | 是 | 是 |
| conda3-cuda10.2-cudnn7-ubuntu18.04 | Clean user customized base image include cuda10.2, conda | CPU | 是 | 是 |
| spark2.4.5-ubuntu18.04 | CPU algorithm development and training, prebuilt PySpark 2.4.5 and is able to attach to preconfigured spark cluster including MRS and DLI. | CPU | 否 | 是 |
| mindspore1.2.0-cuda10.1-cudnn7-ubuntu18.04 | GPU算法开发和训练基础镜像,预置AI引擎MindSpore-GPU | GPU | 是 | 是 |
| mindspore1.2.0-openmpi2.1.1-ubuntu18.04 | CPU算法开发和训练基础镜像,预置AI引擎MindSpore-CPU | CPU | 是 | 是 |
| pytorch_1.11.0-cann_7.0.1-py_3.9-euler_2.10.7-aarch64-snt9b | Ascend_snt9b+ARM算法开发和训练基础镜像,AI引擎预置PyTorch1.11 | Ascend_snt9b | 是 | 是 |
| mindspore_2.2.0-cann_7.0.1-py_3.9-euler_2.10.7-aarch64-snt9b | Ascend_snt9b+ARM算法开发和训练基础镜像,AI引擎预置mindspore | Ascend_snt9b | 是 | 是 |
| pytorch_2.1.0-cann_7.0.1-py_3.9-euler_2.10.7-aarch64-snt9b | Ascend_snt9b+ARM算法开发和训练基础镜像,AI引擎预置PyTorch2.1 | Ascend_snt9b | 是 | 是 |
训练作业
创建训练作业时,训练支持的AI引擎及对应版本如下所示。
<训练引擎名称_版本号>-[cpu | <cuda_版本号 | cann_版本号 >]-<py_版本号>-<操作系统名称_版本号>-< x86_64 | aarch64>
| 工作环境 | 系统架构 | 系统版本 | AI引擎与版本 | 支持的cuda或Ascend版本 |
|---|---|---|---|---|
| TensorFlow | x86_64 | Ubuntu18.04 | tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 | cuda10.1 |
| PyTorch | x86_64 | Ubuntu18.04 | pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 | cuda10.2 |
| MPI | x86_64 | Ubuntu18.04 | mindspore_1.3.0-cuda_10.1-py_3.7-ubuntu_1804-x86_64 | cuda_10.1 |
| Horovod | x86_64 | ubuntu_18.04 | horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 | cuda_10.1 |
| horovod_0.22.1-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 | cuda_10.2 |
不同区域支持的AI引擎有差异,请以实际环境为准。
推理支持的AI引擎
在ModelArts创建AI应用时,若使用预置镜像“从模板中选择”或“从OBS中选择”导入模型,则支持如下常用引擎及版本的模型包。
- 标注“推荐”的Runtime来源于统一镜像,后续统一镜像将作为主流的推理基础镜像。统一镜像中的安装包更齐全,详细信息可以参见ModelArts预置镜像。
- 推荐将旧版镜像切换为统一镜像,旧版镜像后续将会逐渐下线。
- 待下线的基本镜像不再维护。
- 统一镜像Runtime的命名规范:<AI引擎名字及版本> - <硬件及版本:cpu或cuda或cann> - <python版本> - <操作系统版本> - <CPU架构>
- 当前支持自定义模型启动命令,预置AI引擎都有默认的启动命令,如非必要无需改动
| 模型使用的引擎类型 | 支持的运行环境(Runtime) | 注意事项 |
|---|---|---|
| TensorFlow | python3.6 python2.7(待下线) tf1.13-python3.6-gpu tf1.13-python3.6-cpu tf1.13-python3.7-cpu tf1.13-python3.7-gpu tf2.1-python3.7(待下线) tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64(推荐) |
|
| Spark_MLlib | python2.7(待下线) python3.6(待下线) |
|
| Scikit_Learn | python2.7(待下线) python3.6(待下线) |
|
| XGBoost | python2.7(待下线) python3.6(待下线) |
|
| PyTorch | python2.7(待下线) python3.6 python3.7 pytorch1.4-python3.7 pytorch1.5-python3.7(待下线) pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64(推荐) |
|
| MindSpore | aarch64(推荐) | aarch64只能用于运行在Snt3芯片上。
|