AI开发平台ModelArtsAI开发平台ModelArts

更新时间:2021/09/18 GMT+08:00
分享

使用自定义脚本简介

如果订阅算法不能满足需求或者用户希望迁移本地算法至云上训练,可以考虑使用ModelArts支持的预置训练引擎实现算法构建。这种方式在创建算法时被称为“使用自定义脚本”模式。

以下章节介绍了如何使用自定义脚本创建算法。

  • 如果需要了解ModelArts模型训练支持的预置和模型,请参考使用自定义脚本简介章节。
  • 本地开发的算法迁移至ModelArts需要做代码适配,如何适配请参考开发自定义脚本章节。
  • 通过ModelArts控制台界面使用自定义脚本创建算法可以参考创建算法章节。
  • 完成算法开发后,您可以将个人开发算法免费分享给他人使用,请参考发布免费算法章节。

预置的训练引擎

当前ModelArts支持的训练引擎及对应版本如下所示。

表1 新版训练作业支持的AI引擎

工作环境

适配芯片

系统架构

系统版本

AI引擎与版本

支持的cuda或Ascend版本

TensorFlow

CPU/GPU

x86_64

Ubuntu18.04

tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64

cuda10.1

PyTorch

CPU/GPU

x86_64

Ubuntu18.04

pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64

cuda10.2

Ascend-Powered-Engine

Ascend910

aarch64

Euler2.8

mindspore_1.3.0-cann_5.0.2-py_3.7-euler_2.8.3-aarch64

cann_5.0.2

tensorflow_1.15-cann_5.0.2-py_3.7-euler_2.8.3-aarch64

cann_5.0.2

MPI

CPU/GPU

x86_64

Ubuntu18.04

mindspore_1.3.0-cuda_10.1-py_3.7-ubuntu_1804-x86_64

cuda_10.1

Horovod

GPU

x86_64

ubuntu_18.04

horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64

cuda_10.1

horovod_0.22.1-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64

cuda_10.2

KungFu

CPU/GPU

x86_64

Ubuntu18.04

KF-0.2.2-TF-1.13.1-python3.6

-

  • MoXing是ModelArts团队自研的分布式训练加速框架,它构建于开源的深度学习引擎TensorFlow、MXNet、PyTorch、Keras之上,详细说明请参见MoXing使用说明。如果您使用的是MoXing框架编写训练脚本,在创建训练作业时,请根据您选用的接口选择其对应的AI引擎和版本。
  • “efficient_ai”是华为云ModelArts团队自研的加速压缩工具,它支持对训练作业进行量化、剪枝和蒸馏来加速模型推理速度,详细说明请参见efficient_ai使用说明
  • Ascend-Powered-Engine仅在“华北-北京四”区域支持。
分享:

    相关文档

    相关产品