算法推理输入输出数据处理
为了避免算法推理内部可能出现的内存拷贝,在调用模型管家Process接口时,建议输入数据(输入数据一般可直接使用框架传入的内存,该内存是由框架通过HIAI_DMalloc申请得到)及输出数据都通过HIAI_DMalloc接口申请,这样就能够使能算法推理的零拷贝机制,优化Process时间。如果在推理前需要进行DVPP处理,DVPP的输入内存使用框架传入的内存,输出内存可通过HIAI_DVPP_DMalloc接口分配,并将输出内存传给推理Engine当做输入内存。
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为了避免算法推理内部可能出现的内存拷贝,在调用模型管家Process接口时,建议输入数据(输入数据一般可直接使用框架传入的内存,该内存是由框架通过HIAI_DMalloc申请得到)及输出数据都通过HIAI_DMalloc接口申请,这样就能够使能算法推理的零拷贝机制,优化Process时间。如果在推理前需要进行DVPP处理,DVPP的输入内存使用框架传入的内存,输出内存可通过HIAI_DVPP_DMalloc接口分配,并将输出内存传给推理Engine当做输入内存。