AIGC工具tailor使用指导

tailor简介

tailor是AIGC场景下用于模型转换（onnx到mindir）和性能分析的辅助工具，当前支持以下功能。

环境准备

本工具支持x86和ARM的系统环境，使用前需要安装以下软件。

export LITE_HOME=$some_path/mindspore-lite-2.2.10-linux-aarch64

export LD_LIBRARY_PATH=$LITE_HOME/runtime/lib:$LITE_HOME/runtime/third_party/dnnl:$LITE_HOME/tools/converter/lib:$LD_LIBRARY_PATH

export PATH=$LITE_HOME/tools/converter/converter:$LITE_HOME/tools/benchmark:$PATH

./Ascend-cann-toolkit_7.0.0_linux-aarch64.run --full
./Ascend-cann-kernels-型号_7.0.0_linux.run --install

pip install tailor-0.3.4-py3-none-any.whl

使用指导

tailor支持“命令行”和“Python API”两种方式使用。

• 命令行方式

  命令行运行样例：

  tailor --model_path="./resnet50-v2-7.onnx"--config_path="./config.ini"--input_shape="data:1,3,224,224"--output_path="/home/"--accuracy="fp32"--aoe=True

  config.ini参考内容如下：

  [ascend_context]
  input_shape=data:[-1,3,224,224]
  dynamic_dims=[1],[2],[3]

  表3 参数说明

  参数名称	功能描述	参数类型	是否必填	默认值	备注
  --model_path	指定onnx模型路径。	string	是	-	-
  --config_path	指定模型配置文件路径。	string	否	-	tailor支持动态分档转换功能，需要指定配置文件路径，需要注意即便有配置文件，只要是动态模型就需要指定--input_shape参数。
  --input_shape	指定模型转换的shape。	string	否	-	固定shape模型转换可以不填，动态模型转换必填。
  --output_path	指定结果输出路径。	string	否	默认为当前目录下。	-
  --aoe	是否在转换时进行AOE优化。	bool	否	False	AOE优化可以提升模型性能，但不是一定有提升，需要注意开启AOE，会导致模型转换耗时极大延长。
  --accuracy	指定模型精度，只支持fp16和fp32。	string	否	fp16	-

• Python API
  • 导入包并创建tailor对象。

    from tailor.tailor import Tailor
    onnx_model_path = "./resnet50-v2-7.onnx"    # 相对路径或者绝对路径均可以
    t = Tailor(onnx_model_path)

  • 查询onnx模型的输入信息。

    # 查询onnx模型的输入信息
    t.get_model_input_info()

    图1 查询onnx模型的输入输出信息
    
  • 查询onnx模型的输出信息。

    # 查询模型的输出信息
    t.get_model_output_info()

    图2 查询onnx模型的输出信息
    
  • 固定shape模型，可以直接运行。

    t.run()

  • 指定档位信息运行。

    input_shape="data:1,3,224,224"
    t.run(input_shape=input_shape)

  • 动态档位执行config_path运行。需要注意，只要是动态模型，就必须要传入input_shape，因为转换模型后的benchmark和profiling都依赖单个shape操作。

    input_shape="data:1,3,224,224"
    config_path = "./resnet/config.ini"
    t.run(input_shape=input_shape, config_path=config_path)

  • 指定精度为fp32。

    input_shape="data:1,3,224,224"
    t.run(input_shape=input_shape, accuracy='fp32')

  • 开启AOE优化。

    input_shape="data:1,3,224,224"
    t.run(input_shape=input_shape, aoe=True)

  • 指定输出位置。

    input_shape="data:1,3,224,224"
    # 不指定输出路径，则默认在当前执行目录存储结果
    t.run(input_shape=input_shape, output_path="/home/xxx")

运行结果将存储在output文件夹中，如果用户指定了output_path，会指定位置保存，如果不指定则在当前代码执行目录生成文件夹保存输出。整体运行的结果都存放在output文件夹中，每转一次模型就会根据模型名称以及相关参数生成结果文件，如下图所示。

图3 output文件

在每次运行的结果文件中，分为三部分：convert、benchmark、profiling，相关的文件及存储内容如下。