文档首页/
AI开发平台ModelArts/
最佳实践/
DeepSeek基于Lite Server&Cluster推理/
DeepSeek模型基于ModelArts Lite Cluster适配NPU的PD分离推理解决方案/
特性补充说明/
PD分离部署下图编译缓存使用操作
更新时间:2025-09-08 GMT+08:00
PD分离部署下图编译缓存使用操作
场景描述
实现节点上的图编译缓存复用,加速模型推理启动速度和减小故障恢复时间。
约束限制

特性存在较多缓存不兼容情况,需要用户确保图编译缓存的准确性,不推荐使用该特性。
- 部署版本变化,缓存存在不兼容情况。
- 修改部署服务的启动参数,图编译缓存存在不兼容情况。
- 升级HDK版本,图编译缓存存在不兼容情况。
- 图编译缓存目录权限必须设置为600,否则图编译缓存无效。
- 版本或者启动参数等发生变化,需要按照以下步骤生成新的图编译缓存,并配置新的图编译缓存目录。
- 多副本实例并发写入缓存存在问题。
SFS Turbo启动图编译缓存功能
- 参考表2启动图编译缓存功能,指定图编译缓存路径。
- 单实例部署推理服务,生成图编译缓存。
- 多实例部署推理服务,正常加载图编译缓存。
EVS启动图编译缓存功能
- 不指定图编译缓存路径,然后部署推理服务。
- 将单实例多个Decode容器内/home/ma-user/AscendCloud/.torchair_cache目录下的部分缓存文件合并成一个完整的图编译缓存。
/home/ma-user/AscendCloud/.torchair_cache/ # 需要合并容器内该路径下的两个目录+一个隐藏目录 ├── .block_nums ├── SpecModel_dynamic_gecache_xxx └── cache_calss_dynamic_gecache_xxx
- 将完整的图编译缓存文件同步到所有节点相同路径上。
- 参考表2启动图编译缓存功能,指定上一步合并后完整的图编译缓存路径。
父主题: 特性补充说明