更新时间:2021-03-18 GMT+08:00
分享

准备模型推理的输入/输出数据

图1 模型推理的输入/输出数据准备流程

使用aclmdlDesc类型的数据描述模型基本信息(例如输入/输出的个数、名称、数据类型、Format、维度信息等),使用aclmdlDataset类型的数据描述模型的输入/输出数据,模型可能存在多个输入、多个输出,每个输入/输出的内存地址、内存大小用aclDataBuffer类型的数据来描述。

图2 aclmdlDataset类型与aclDataBuffer类型的关系

如果需要将Host上数据传输到Device,则需要调用aclrtMemcpy接口(同步接口)或aclrtMemcpyAsync接口(异步接口)通过内存复制的方式实现数据传输。

模型存在多个输入、输出时,用户在向aclmdlDataset中添加aclDataBuffer时,为避免顺序出错,可以先获取输入、输出的名称,根据输入、输出名称所对应的index的顺序添加。

对于静态多Batch场景,在创建aclDataBuffer类型的数据时,内存大小需调用aclmdlGetInputSizeByIndex接口根据index获取。

分享:

    相关文档

    相关产品

close