基本介绍

此处量化是指对高精度数据进行低Bit量化，从而达到节约网络存储空间、降低传输时延以及提高运算执行效率的目的。

当前支持Convolution、Full Connection、ConvolutionDepthwise三种类型算子的量化，包括权重、偏置、数据量化。量化模式分为：无offset、数据offset。

量化后的权重、偏置在Davinci模型生成阶段即被保存在Davinci模型中，在模型推理阶段使用量化后权重、偏置对数据进行计算。

各概念的说明如下：

• 无offset：权重和数据都采用无偏移模式。
• 数据offset：数据采用有偏移模式，权重采用无偏移模式。
• 权重量化：根据量化算法对权重文件进行Int8量化。若是有offset量化模式，则输出Int8权重、scale和offset；若是无offset量化模式，则输出Int8权重和scale。当前权重量化仅支持无offset量化模式。
• 数据量化：经过有限输入（校准集，用于训练量化参数、保证精度）进行推理执行，根据频率统计和散度计算算法等，若是数据offset量化模式，则计算出量化数据的scale和offset；如果无offset量化模式，则计算出量化数据的scale。
• 偏置量化：根据权重量化的scale、数据量化的scale，将FP32偏置数据量化为Int32输出。

图1 量化处理流程