更新时间:2021-03-18 GMT+08:00
分享

简介

本文介绍如何将开源框架的网络模型,例如Caffe、TensorFlow等框架训练好的模型,通过OMG(Offline Model Generator:离线模型生成器)将其转换成昇腾AI处理器支持的离线模型,模型转换过程中可以实现算子调度的优化、权值数据重排、量化压缩、内存使用优化等,可以脱离设备完成模型的预处理。

工具功能架构

OMG工具功能架构如图1所示。
图1 OMG工具功能架构

工具运行流程

使用OMG工具进行模型转换的总体流程如图2所示。

图2 运行流程

详细流程说明如下:

  1. 使用OMG工具之前,请先在服务器安装DDK或Mind Studio,获取相关路径下的OMG工具,详细说明请参见准备动作中的环境准备。
  2. 准备要进行转换的模型,并上传到DDK所在服务器,详细说明请参见使用示例
  3. 使用OMG工具进行模型转换,在配置相关参数时,根据实际情况选择是否进行AIPP配置或者量化配置
    1. AIPP是昇腾AI处理器提供的硬件图像预处理模块,包括色域转换,图像归一化(减均值/乘系数)和抠图(指定抠图起始点,抠出神经网络需要大小的图片)等功能。DVPP模块输出的图片多为对齐后的YUV420SP类型,不支持输出RGB图片。因此,业务流需要使用AIPP模块转换对齐后YUV420SP类型图片的格式,并抠出模型需要的输入图片。
    2. 量化是指对高精度数据进行低Bit量化,在对模型大小和性能有更高要求的时候可以选择执行量化操作。模型转换过程中量化会将高精度数据向低比特数据进行量化,让最终生成的模型更加轻量化,从而达到节约网络存储空间、降低传输时延以及提高运算执行效率的目的。
分享:

    相关文档

    相关产品