弹性云服务器 ECS弹性云服务器 ECS

更新时间:2021/07/27 GMT+08:00
分享

AI加速型

AI加速型云服务器(AI Accelerated Cloud Server, AIACS)是专门为AI业务提供加速服务的云主机。搭载昇腾系列芯片及软件栈。

AI推理加速型系列:搭载昇腾310芯片,为AI推理业务加速。

AI加速实例总览

Ai1s为Ai1的增强机型,机型规格和Ai1完全一致,区别仅在于Ai1s支持最新的昇腾软件栈CANN,建议首选Ai1s。

适用于AI加速型实例的镜像列表

表1 适用于AI加速型实例的镜像列表

类别

实例

支持镜像

AI推理加速增强I型

Ai1s

Ubuntu Server 18.04 64bit

CentOS 7.6 64bit

AI推理加速I型

Ai1

Ubuntu Server 16.04 64bit

CentOS 7.4 64bit

AI推理加速增强I型Ai1s

概述

AI推理加速增强I型实例Ai1s是以昇腾310(Ascend 310)芯片为加速核心的AI加速型弹性云服务器。基于Ascend 310芯片低功耗、高算力特性,实现了能效比的大幅提升,助力AI推理业务的快速普及。通过AI推理加速型实例Ai1s将Ascend 310芯片的计算加速能力在公有云上开放出来,方便用户快速简捷地使用Ascend 310芯片强大的处理能力。

AI推理加速型实例Ai1s基于Altas300加速卡设计,更多详细信息请参考昇腾开发者社区

AI加速型云服务器可用于机器视觉,安防监控,智慧园区,智慧城市,智慧交通,智慧零售,互联网音视频,视频编解码等业务场景。

规格

表2 Ai1s型弹性云服务器的规格

规格名称

vCPU

内存(GiB)

最大带宽/基准带宽

最大收发包能力(万/PPS)

Ascend 310

Ascend RAM(GiB)

虚拟化类型

ai1s.large.4

2

8

4/1.3

20

1

8

KVM

ai1s.xlarge.4

4

16

6/2

35

2

16

KVM

ai1s.2xlarge.4

8

32

10/4

50

4

32

KVM

ai1s.4xlarge.4

16

64

15/8

100

8

64

KVM

ai1s.8xlarge.4

32

128

25/15

200

16

128

KVM

功能

Ai1s加速型弹性云服务器功能如下:

  • 处理器与内存配比为1:4。
  • 处理器:第二代英特尔® 至强® 可扩展处理器 6278,主频2.6GHz,睿频3.5GHz,或英特尔® 至强® 可扩展处理器 6151, 主频3.0GHz,睿频3.4GHz。
  • 支持Atlas 300芯片,每张Atlas300加速卡包含4个Atlas 300芯片
  • 单芯片整数精度(INT8)16TeraOPS
  • 单芯片提供8GiB显存,内存带宽50GiB/s
  • 内置硬件视频编解码引擎,支持5路全高清视频解码器(H.264/265)

使用须知

  1. Ai1s实例支持如下版本的操作系统:
    • Ubuntu Server 18.04 64bit
    • CentOS 7.6 64bit
  2. Ai1s型弹性云服务器不支持规格变更。
  3. Ai1s型云服务器所在物理机发生故障时,云服务器支持自动恢复。

如何使用Ai1s加速型云服务器

使用Ai1s加速型云服务器的流程如下:

  1. 创建Ai1s加速型云服务器。

    使用公共镜像创建的Ai1s加速云服务器默认已安装驱动、固件和开发套件,并配置环境变量,验证可用性请参考3

  2. 远程登录Ai1s加速云服务器。

    对于Linux操作系统的Ai1加速云服务器,登录时请以SSH密码方式登录。具体操作,请参见密码方式登录Linux弹性云服务器(SSH方式)

  3. Ai1s使用样例。

    该样例主要是基于Caffe ResNet-50网络(单输入、单batch)实现图片分类的功能。

    将Caffe ResNet-50网络的模型文件转换为适配昇腾AI处理器的离线模型(*.om文件),在样例中,加载该om文件,对2张*.jpg图片进行解码、缩放、推理,分别得到推理结果后,再对推理结果进行处理,输出最大置信度的类别标识。

    转换模型时,需配置色域转换参数,用于将YUV420SP格式的图片转换为RGB格式的图片,才能符合模型的输入要求。

    1. 模型转换
      1. 以root用户登录Ai1s云服务器。
      2. 设置环境变量(公共镜像中已设置环境变量,如果是私有镜像创建请自行设置)。

        环境变量示例如下,请用实际安装路径替换driver_home和 install_path。

        export driver_home=/usr/local/Ascend
        export install_path=${driver_home}/ascend-toolkit/latest/x86_64-linux_gcc7.3.0
        export DDK_PATH=${install_path}
        export PATH=/usr/local/python3.7.5/bin:${install_path}/atc/ccec_compiler/bin:${install_path}/atc/bin:${install_path}/fwkacllib/ccec_compiler/bin:$PATH
        export PYTHONPATH=${install_path}/atc/python/site-packages/te:${install_path}/atc/python/site-packages/topi:${install_path}/atc/python/site-packages/auto_tune.egg/auto_tune/:${install_path}/atc/python/site-packages/schedule_search.egg:${install_path}/opp/op_impl/built-in/ai_core/tbe/:${install_path}/fwkacllib/python/site-packages/topi:${install_path}/fwkacllib/python/site-packages/hccl:${install_path}/fwkacllib/python/site-packages/auto_tune.egg:${install_path}/fwkacllib/python/site-packages/schedule_search.egg:${install_path}/fwkacllib/python/site-packages/te:${install_path}/tfplugin/python/site-packages/npu_bridge:$PYTHONPATH
        export LD_LIBRARY_PATH=/usr/local/lib/:/usr/lib/:${install_path}/acllib/lib64:${install_path}/atc/lib64:${install_path}/fwkacllib/lib64:${driver_home}/driver/lib64:${driver_home}/add-ons:${install_path}/toolkit/lib64:$LD_LIBRARY_PATH
        export ASCEND_OPP_PATH=${install_path}/opp
        export NPU_HOST_LIB=${install_path}/acllib/lib64/stub
        export SOC_VERSION=Ascend310
      3. 准备数据

        示例:请将以下示例中“/usr/local/Ascend/ascend-toolkit/latest/arm64-linux_gcc7.3.0”替换成acllib实际路径。

        获取ResNet-50网络的权重文件(*.caffemodel),并将获取的文件上传至云服务器的“/usr/local/Ascend/ascend-toolkit/latest/x86_64-linux_gcc7.3.0/acllib/sample/acl_execute_model/acl_dvpp_resnet50/caffe_model”目录下。

      4. 将ResNet-50网络转换为适配昇腾AI处理器的离线模型(*.om文件),转换模型时,需配置色域转换参数,用于将YUV420SP格式的图片转换为RGB格式的图片。

        切换到“acl_dvpp_resnet50”目录,执行如下命令:

        atc --model=caffe_model/resnet50.prototxt --weight=caffe_model/resnet50.caffemodel --framework=0 --output=model/resnet50_aipp --soc_version=Ascend310 --insert_op_conf=caffe_model/aipp.cfg

        图1 转换模型

        --output参数:生成的resnet50_aipp.om文件存放在“acl_dvpp_resnet50/model”目录下。

        关于各参数的详细解释,请参见《ATC工具使用指导》中的“约束及参数说明”。

      5. 将Cast和ArgMaxD两个算子的算子描述信息(*.json文件)编译成适配昇腾AI处理器的离线模型(*.om文件),用于运行算子时使用。

        切换到acl_dvpp_resnet50目录,执行如下命令:

        atc --singleop=out/op_models/op_list.json --soc_version=Ascend310 --output=out/op_models

        图2 编译模型

        --output参数:生成的om文件必须放在“out/op_models”目录下。

        关于各参数的详细解释,请参见《ATC工具使用指导》中的“约束及参数说明”。

    2. 编译代码
      1. 设置环境变量,编译脚本src/CMakeLists.txt通过环境变量所设置的头文件、库文件的路径来编译代码。

        如下为设置环境变量的示例,请将/usr/local/Ascend/ascend-toolkit/latest/x86_64-linux_gcc7.3.0替换为ACLlib的实际安装路径。

        执行以下命令导入环境变量(公共镜像中已设置环境变量,如果是私有镜像创建请自行设置)

        export DDK_PATH=/usr/local/Ascend/ascend-toolkit/latest/x86_64-linux_gcc7.3.0

        export NPU_HOST_LIB=/usr/local/Ascend/ascend-toolkit/latest/x86_64-linux_gcc7.3.0/acllib/lib64/stub

      2. 切换到acl_dvpp_resnet50目录,创建目录用于存放编译文件。

        本例中,创建的目录为“build/intermediates/host”。

        mkdir -p build/intermediates/host

      3. 切换到“build/intermediates/host”目录,执行cmake生成编译文件。

        以下示例中“../../../src”表示CMakeLists.txt文件所在的目录,请根据实际目录层级修改。

        cd build/intermediates/host

        cmake ../../../src -DCMAKE_CXX_COMPILER=g++ -DCMAKE_SKIP_RPATH=TRUE

        图3 执行cmake生成编译文件
      4. 执行make命令,生成的可执行文件main在“acl_dvpp_resnet50/out”目录下。

        make

        图4 生成可执行文件main
    3. 运行应用
      1. 设置环境变量

        如下为设置环境变量的示例,请根据实际安装情况替换路径。(公共镜像中已设置环境变量,如果是私有镜像创建请自行设置)

        export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/x86_64-linux_gcc7.3.0/acllib/lib64:/usr/local/Ascend/add-ons

      2. 切换到可执行文件main所在的目录”acl_dvpp_resnet50/out”,给该目录下的main文件加执行权限。

        chmod +x main

      3. 切换到可执行文件main所在的目录,例如“/home/HwHiAiUser/acl_dvpp_resnet50/out”,运行可执行文件。
        ./main
      4. 执行成功后,在屏幕上显示最大置信度的类别标识。
        图5 显示类别标识

AI推理加速I型Ai1

概述

AI推理加速型实例Ai1是以昇腾310(Ascend 310)芯片为加速核心的AI加速型弹性云服务器。基于Ascend 310芯片低功耗、高算力特性,实现了能效比的大幅提升,助力AI推理业务的快速普及。通过AI推理加速型实例Ai1将Ascend 310芯片的计算加速能力在公有云上开放出来,方便用户快速简捷地使用Ascend 310芯片强大的处理能力。

AI推理加速型实例Ai1基于Altas300加速卡设计,更多详细信息请参考昇腾开发者社区

AI加速型云服务器可用于机器视觉、语音识别、自然语言处理通用技术,支撑智能零售、智能园区、机器人云大脑、平安城市等场景。

规格

表3 Ai1型弹性云服务器的规格

规格名称

vCPU

内存(GiB)

最大带宽/基准带宽

最大收发包能力(万/PPS)

Ascend 310

Ascend RAM(GiB)

虚拟化类型

ai1.large.4

2

8

4/1.3

20

1

8

KVM

ai1.xlarge.4

4

16

6/2

35

2

16

KVM

ai1.2xlarge.4

8

32

10/4

50

4

32

KVM

ai1.4xlarge.4

16

64

15/8

100

8

64

KVM

ai1.8xlarge.4

32

128

25/15

200

16

128

KVM

功能

Ai1加速型弹性云服务器功能如下:

  • 处理器与内存配比为1:4。
  • 处理器:第二代英特尔® 至强® 可扩展处理器 6278,主频2.6GHz,睿频3.5GHz。或英特尔® 至强® 可扩展处理器 6151, 主频3.0GHz,睿频3.4GHz。
  • 支持Atlas 300芯片,每张Hi1910加速卡包含4个Atlas 300芯片
  • 单芯片半精度(FP16)8TeraFLOPS
  • 单芯片整数精度(INT8)16TeraOPS
  • 单芯片提供8GiB显存,内存带宽50GiB/s
  • 内置硬件视频编解码引擎,支持16路全高清视频解码器(H.264/265)

使用须知

  1. Ai1实例支持如下版本的操作系统:
    • Ubuntu Server 16.04 64bit
    • CentOS 7.4 64bit
  2. Ai1型弹性云服务器不支持规格变更。
  3. Ai1型云服务器所在物理机发生故障时,云服务器支持自动恢复。

如何使用Ai加速型云服务器

使用Ai1加速型云服务器的流程如下:

  1. 创建Ai1加速型云服务器。

    使用公共镜像创建的Ai1加速云服务器默认已包含Mind Studio工具安装包、DDK安装包、自动化安装脚本。但需用户手动安装Mind Studio和DDK。具体操作请参考3

  2. 远程登录Ai1加速云服务器。

    对于Linux操作系统的Ai1加速云服务器,登录时请以SSH密码方式登录。具体操作,请参见密码方式登录Linux弹性云服务器(SSH方式)

  3. Ai1的开发环境准备与安装。

    Ai加速云服务器内提供Mind Studio编排开发平台,可以自定义编排人工智能应用业务流。统一管理推理业务应用模型、数据集,提供日志分析、性能分析、黑匣子等附加功能。您可以通过Mind Studio编排开发平台,适配Ascend芯片进行人工智能项目开发与管理,以及对其它框架训练模型进行转换。

    DDK安装包为用户提供基于NPU的数字开发者套件。DDK可以用于构建相关工程的编译环境。不同的发布包里集成了不同NPU形态的DDK,当前版本的DDK集成了TE、DVPP、流程编排等组件的依赖库和头文件,用户可以通过makefile编译相应的工程文件。

    1. 开发环境准备

      Ai1实例目前支持Ubuntu 16.04 64bit和CentOS 64bit两种操作系统,使用公共镜像创建的Ai1实例默认已包含Mind Studio工具安装包、DDK安装包、自动化安装脚本。

      • Ubuntu 16.04 64bit操作系统请参考表4
      • CentOS 64bit操作系统请参考表5

      云服务器创建完成后,请先执行llls命令,确认root目录下是否已包含安装包和脚本文件。

      以CentOS 64bit操作系统为例回显信息如图6所示,代表已包含安装包和脚本文件。

      图6 查询安装包和脚本文件
      表4 Ubuntu 16.04 64bit系统包含的文件列表

      文件

      文件名称

      Mind Studio工具安装包

      mini_mind_studio_Ubuntu.rar

      DDK安装包

      MSpore_DDK-{VERSION}-x86_64.ubuntu16.04-x86_64.ubuntu16.04-aarch64.miniOS.tar.gz

      {VERSION}为DDK版本号,DDK版本与Mind Studio工具安装包版本必须保持一致。

      自动化安装脚本

      Mindstutio_install.sh

      表5 CentOS 64bit系统包含的文件列表

      文件

      文件名称

      Mind Studio工具安装包

      mini_mind_studio_centos.rar

      DDK安装包

      MSpore_DDK-{VERSION}-x86_64. centOS7.4-x86_64.centOS7.4-aarch64.miniOS.tar.gz

      {VERSION}为DDK版本号,DDK版本与Mind Studio工具安装包版本必须保持一致。

      自动化安装脚本

      Mindstutio_install.sh

      镜像源文件

      ius.repo

      查询root目录下包含安装文件后,您可以选择安装Mind Studio和DDK,请参考3.b

    2. 安装Mind Studio和DDK。

      在root目录下执行以下命令安装Mind Studio和DDK。

      bash Mindstudio_install.sh user_name user_passwd

      • user_name和user_passwd是用户自定义,执行即可自动安装Mind Studio和DDK。
      • 若执行安装包提示下载超时,可执行userdel username,再执行上述命令重新安装。

      上述命令执行完成后,如果无异常,证明Mind Studio服务启动成功。

    3. 通过浏览器访问如下网页地址,查看能否访问Mind Studio界面,能够访问成功说明Mind Studio启动成功,否则说明启动失败。

      https://EIP:端口

      • EIP是安装Mind Studio的服务器的弹性公网IP
      • 端口是Mind Studio访问端口。
      • 使用内网访问Mind Studio时可以使用如下命令:

        https://私有IP:端口

      例如,EIP为123.xxx.xxx.456,Mind Studio默认端口为8888。则访问地址为https://123.xxx.xxx.456:8888

相关链接

分享:

    相关文档

    相关产品