ModelArts平台提供了Tensorflow,PyTorch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您可以基于这些基础镜像制作一个新的镜像并进行训练。
训练基础镜像列表
ModelArts中预置的训练基础镜像如下表所示。
表1 ModelArts训练基础镜像列表
引擎类型 |
版本名称 |
PyTorch |
pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 |
TensorFlow |
tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 |
Horovod |
horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64 |
horovod_0.22.1-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 |
MPI |
mindspore_1.3.0-cuda_10.1-py_3.7-ubuntu_1804-x86_64 |
引擎版本:pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64
- 镜像地址:swr.{region}.myhuaweicloud.com/aip/pytorch_1_8:train-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-roma-20220309171256-40adcc1
- 镜像构建时间:20220309171256 (yyyy-mm-dd-hh-mm-ss)
- 镜像系统版本:Ubuntu 18.04.4 LTS
- cuda:10.2.89
- cudnn:7.6.5.32
- Python解释器路径及版本:/home/ma-user/anaconda3/envs/PyTorch-1.8/bin/python, python 3.7.10
- 三方包安装路径:/home/ma-user/anaconda3/envs/PyTorch-1.8/lib/python3.7/site-packages
训练基础镜像详情(TensorFlow)
介绍预置的TensorFlow镜像详情。
引擎版本:tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64
- 镜像地址:swr.{region}.myhuaweicloud.com/aip/tensorflow_2_1:train-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-20210912152543-1e0838d
- 镜像构建时间:20210912152543(yyyy-mm-dd-hh-mm-ss)
- 镜像系统版本:Ubuntu 18.04.4 LTS
- cuda:10.1.243
- cudnn:7.6.5.32
- Python解释器路径及版本:/home/ma-user/anaconda3/envs/TensorFlow-2.1/bin/python, python 3.7.10
- 三方包安装路径:/home/ma-user/anaconda3/envs/TensorFlow-2.1/lib/python3.7/site-packages
训练基础镜像详情(Horovod)
介绍预置的Horovod镜像详情。
引擎版本一:horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64
- 镜像地址:swr.{region}.myhuaweicloud.com/aip/horovod_tensorflow:train-horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-20210912152543-1e0838d
- 镜像构建时间:20210912152543(yyyy-mm-dd-hh-mm-ss)
- 镜像系统版本:Ubuntu 18.04.4 LTS
- cuda:10.1.243
- cudnn:7.6.5.32
- Python解释器路径及版本:/home/ma-user/anaconda3/envs/horovod_0.20.0-tensorflow_2.1.0/bin/python, python 3.7.10
- 三方包安装路径:/home/ma-user/anaconda3/envs/horovod_0.20.0-tensorflow_2.1.0/lib/python3.7/site-packages
引擎版本二: horovod_0.22.1-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64
- 镜像地址:swr.{region}.myhuaweicloud.com/aip/horovod_pytorch:train-horovod_0.22.1-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20210912152543-1e0838d
- 镜像构建时间:20210912152543(yyyy-mm-dd-hh-mm-ss)
- 镜像系统版本:Ubuntu 18.04.4 LTS
- cuda:11.1.1
- cudnn:8.0.5.39
- Python解释器路径及版本:/home/ma-user/anaconda3/envs/horovod-0.22.1-pytorch-1.8.0/bin/python, python 3.7.10
- 三方包安装路径:/home/ma-user/anaconda3/envs/horovod-0.22.1-pytorch-1.8.0/lib/python3.7/site-packages
引擎版本:mindspore_1.3.0-cuda_10.1-py_3.7-ubuntu_1804-x86_64
- 镜像地址:swr.{region}.myhuaweicloud.com/aip/mindspore_1_3_0:train-mindspore_1.3.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-roma-20211104202338-f258e59
- 镜像构建时间:20211104202338(yyyy-mm-dd-hh-mm-ss)
- 镜像系统版本:Ubuntu 18.04.4 LTS
- cuda:10.1.243
- cudnn:7.6.5.32
- Python解释器路径及版本:/home/ma-user/anaconda3/envs/MindSpore-1.3.0-gpu/bin/python, python 3.7.10
- 三方包安装路径:/home/ma-user/anaconda3/envs/MindSpore-1.3.0-gpu/lib/python3.7/site-packages