更新时间:2023-11-11 GMT+08:00
分享

图片大Shape性能劣化严重怎么办?

在昇腾设备上,可能由于GPU内存墙导致在大shape下遇到性能问题,MindSporeLite提供了Flash Attention编译优化机制,可以考虑升级最新版本的MidnSporeLite Convertor来进行编译期的算子优化,在大Shape场景下会有明显的改善。

分享:

    相关文档

    相关产品