文档首页 > > TBE自定义算子开发指南> 专题> TIK自定义算子动态Shape专题> 概述> 性能优化思路

性能优化思路

分享
更新时间:2020/07/23 GMT+08:00

影响动态shape算子性能的因素及对应的解决办法:

  1. 当一个算子支持任意shape时,在算子内可能有过多条件判断,这也会影响算子性能。解决办法是每个算子二进制支持特定范围的shape。然后在算子运行过程中,通过具体的shape选择对应范围的算子实现。
  2. Tiling参数计算过程中,有较多的scalar计算,一般把这些scalar计算放在CPU侧,计算完再传入AICore运行的算子
  3. 数据不同的切分方式影响算子性能。即Tiling策略不同,算子的实现方式可能不同。
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问