文档首页> Atlas 500应用> 应用调优> 要点介绍> 算法推理输入输出数据处理
更新时间:2021-03-18 GMT+08:00
分享

算法推理输入输出数据处理

为了避免算法推理内部可能出现的内存拷贝,在调用模型管家Process接口时,建议输入数据(输入数据一般可直接使用框架传入的内存,该内存是由框架通过HIAI_DMalloc申请得到)及输出数据都通过HIAI_DMalloc接口申请,这样就能够使能算法推理的零拷贝机制,优化Process时间。如果在推理前需要进行DVPP处理,DVPP的输入内存使用框架传入的内存,输出内存可通过HIAI_DVPP_DMalloc接口分配,并将输出内存传给推理Engine当做输入内存。

分享:

    相关文档

    相关产品