PD分离部署下图编译缓存使用操作

场景描述

实现节点上的图编译缓存复用，加速模型推理启动速度和减小故障恢复时间。

约束限制

特性存在较多缓存不兼容情况，需要用户确保图编译缓存的准确性，不推荐使用该特性。

1. 部署版本变化，缓存存在不兼容情况。
2. 修改部署服务的启动参数，图编译缓存存在不兼容情况。
3. 升级HDK版本，图编译缓存存在不兼容情况。
4. 图编译缓存目录权限必须设置为600，否则图编译缓存无效。
5. 版本或者启动参数等发生变化，需要按照以下步骤生成新的图编译缓存，并配置新的图编译缓存目录。
6. 多副本实例并发写入缓存存在问题。

SFS Turbo启动图编译缓存功能

1. 参考表2启动图编译缓存功能，指定图编译缓存路径。
2. 单实例部署推理服务，生成图编译缓存。
3. 多实例部署推理服务，正常加载图编译缓存。

EVS启动图编译缓存功能

1. 不指定图编译缓存路径，然后部署推理服务。
2. 将单实例多个Decode容器内/home/ma-user/AscendCloud/.torchair_cache目录下的部分缓存文件合并成一个完整的图编译缓存。

   /home/ma-user/AscendCloud/.torchair_cache/  # 需要合并容器内该路径下的两个目录+一个隐藏目录
   ├── .block_nums
   ├── SpecModel_dynamic_gecache_xxx
   └── cache_calss_dynamic_gecache_xxx

3. 将完整的图编译缓存文件同步到所有节点相同路径上。
4. 参考表2启动图编译缓存功能，指定上一步合并后完整的图编译缓存路径。