文档首页/ AI开发平台ModelArts/ 最佳实践/ DeepSeek&Qwen3基于Lite Server&Cluster推理/ DeepSeek&Qwen3模型基于Lite Cluster适配NPU的PD分离推理解决方案/ 特性补充说明/ PD分离部署下图编译缓存使用操作/ DeepSeek开启图编译缓存
更新时间：2025-11-04 GMT+08:00
查看PDF
分享

DeepSeek开启图编译缓存

SFS Turbo启动图编译缓存功能

  1. 参考表2启动图编译缓存功能，创建后指定图编译缓存路径。
  2. 单实例部署推理服务，会在指定路径生成图编译缓存。
  3. 多实例部署推理服务，正常加载图编译缓存。

EVS启动图编译缓存功能

  1. 不指定图编译缓存路径，然后部署推理服务。
  2. 将单实例多个Decode容器内/home/ma-user/AscendCloud/.torchair_cache目录下的部分缓存文件合并成一个完整的图编译缓存。 

    /home/ma-user/AscendCloud/.torchair_cache/  # 需要合并容器内该路径下的两个目录+一个隐藏目录
├── .block_nums
├── SpecModel_dynamic_gecache_xxx
└── cache_calss_dynamic_gecache_xxx

  3. 将完整的图编译缓存文件同步到所有节点相同路径上。
  4. 参考表2启动图编译缓存功能，指定上一步合并后完整的图编译缓存路径。

相关文档