文档首页 > > 推理场景> 开发辅助工具指南> 精度比对工具使用指南> 附录>

如何进行dump数据文件Format转换

如何进行dump数据文件Format转换

分享
更新时间:2021/02/04 GMT+08:00

执行Dum数据文件format转换

本版本提供dump数据文件format转换能力,用于用户根据自身需求将昇腾AI处理器生成的dump数据文件转换成numpy数据文件,方便查看。

该功能通过msaccucmp.pyc脚本实现,该脚本存放在/home/HwHiAiUser/Ascend/ascend-toolkit/latest/toolkit/tools/operator_cmp/compare路径下,命令格式如下:

python3.7.5 msaccucmp.pyc convert -d dump_file [-out output] [-f format -s shape] [-o output_tensor] [-i input_tensor] [-c custom_script_path]

命令格式参数项说明如表1所示。

表1 Format转换参数项说明

参数名

描述

-d

--dump_file

必选。昇腾AI处理器生成的dump文件(含路径)。

-out

--output

可选。转换后的数据存放目录,默认为当前路径。

-f

--format

可选。

  • 命令行包含-f参数,表示进行format转换,指定转换后数据format。
  • 命令行不包含-f参数,表示进行dump文件解析。

-s

--shape

可选。format转换需要的shape,当前仅FRACTAL_NZ转换需要配置该参数,格式为([0-9]+,)+[0-9]+,每个数字必须大于0。配置-f时有效。

-o

--output_tensor

可选。转换指定index的output数据,与-i互斥。配置-f时有效。

当-o与-i均未配置时,默认转换output数据的index为0的数据。

-i

--input_tensor

可选。转换指定index的input数据,与-o互斥。配置-f时有效。

-c

--custom_script_path

可选。用户自定义Format转换.py文件存放路径,需指定到“format_convert”目录的上一层目录。.py文件相关要求参见准备自定义Format转换.py文件。配置-f时有效。

结果保存为“原始文件名.output.{index}.{shape}.npy”“原始文件名.input.{index}.{shape}.npy”,shape的格式如:1x3x224x224。

当前内置的Format转换支持如下类型:

  • FRACTAL_NZ转换NCHW
  • FRACTAL_NZ转换成NHWC
  • FRACTAL_NZ转换ND
  • HWCN转换FRACTAL_Z
  • HWCN转换成NCHW
  • HWCN转换成NHWC
  • NC1HWC0转换成HWCN
  • NC1HWC0转换成NCHW
  • NC1HWC0转换成NHWC
  • NCHW转换成FRACTAL_Z
  • NCHW转换成NHWC
  • NHWC转换成FRACTAL_Z
  • NHWC转换成HWCN
  • NHWC转换成NCHW

准备自定义Format转换.py文件

为满足用户自定义Format转换,需要按以下要求准备:

  • .py文件命名需满足规则:“convert_{format_from}_to_{format_to}.py”,其中,format _from和format _to支持的类型如下:
    • NCHW
    • NHWC
    • ND
    • NC1HWC0
    • FRACTAL_Z
    • NC1C0HWPAD
    • NHWC1C0
    • FSR_NCHW
    • FRACTAL_DECONV
    • C1HWNC0
    • FRACTAL_DECONV_TRANSPOSE
    • FRACTAL_DECONV_SP_STRIDE_TRANS
    • NC1HWC0_C04
    • FRACTAL_Z_C04
    • CHWN
    • DECONV_SP_STRIDE8_TRANS
    • NC1KHKWHWC0
    • BN_WEIGHT
    • FILTER_HWCK
    • HWCN
    • LOOKUP_LOOKUPS
    • LOOKUP_KEYS
    • LOOKUP_VALUE
    • LOOKUP_OUTPUT
    • LOOKUP_HITS
    • MD
    • NDHWC
    • C1HWNCoC0
    • FRACTAL_NZ
  • .py文件内容需满足以下规则:
    def convert(shape_from, shape_to, array):
        
        return numpy_array

    参数说明:

    shape_from:array数据的转换前的shape,一维数组。

    shape_to:array数据的转换后的shape,一维数组。(可选)。

    array:一维原始数据。

    返回值:转换后的numpy数组。

  • .py文件存放目录需满足:

    .py文件必须存放在“format_convert”目录下,如果该目录不存在,需要新建。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区论坛频道来与我们联系探讨

智能客服提问云社区提问