更新时间:2025-09-08 GMT+08:00
分享

PD分离部署下图编译缓存使用操作

场景描述

实现节点上的图编译缓存复用,加速模型推理启动速度和减小故障恢复时间。

约束限制

特性存在较多缓存不兼容情况,需要用户确保图编译缓存的准确性,不推荐使用该特性

  1. 部署版本变化,缓存存在不兼容情况。
  2. 修改部署服务的启动参数,图编译缓存存在不兼容情况。
  3. 升级HDK版本,图编译缓存存在不兼容情况。
  4. 图编译缓存目录权限必须设置为600,否则图编译缓存无效。
  5. 版本或者启动参数等发生变化,需要按照以下步骤生成新的图编译缓存,并配置新的图编译缓存目录。
  6. 多副本实例并发写入缓存存在问题。

SFS Turbo启动图编译缓存功能

  1. 参考表2启动图编译缓存功能,指定图编译缓存路径。
  2. 单实例部署推理服务,生成图编译缓存。
  3. 多实例部署推理服务,正常加载图编译缓存。

EVS启动图编译缓存功能

  1. 不指定图编译缓存路径,然后部署推理服务。
  2. 将单实例多个Decode容器内/home/ma-user/AscendCloud/.torchair_cache目录下的部分缓存文件合并成一个完整的图编译缓存。

    /home/ma-user/AscendCloud/.torchair_cache/  # 需要合并容器内该路径下的两个目录+一个隐藏目录
    ├── .block_nums
    ├── SpecModel_dynamic_gecache_xxx
    └── cache_calss_dynamic_gecache_xxx

  3. 将完整的图编译缓存文件同步到所有节点相同路径上。
  4. 参考表2启动图编译缓存功能,指定上一步合并后完整的图编译缓存路径。

相关文档