SDK接口概览
表1总结了EMS Python SDK支持的接口及功能描述,每个接口的详细介绍和示例代码请前往接口详情页查看。
SDK API概览
接口名 | 方法 | 功能描述 |
|---|---|---|
Ems.init | 初始化EMS客户端。 | |
Ems.get_cc | 获取ContextCaching对象,用户后续可以访问对象中的读取/保存KVCache等接口。 | |
Ems.check_health | EMS健康检查,可以通过接口探测EMS内存池是否正常工作。 | |
ContextCaching.save | 同步保存推理请求产生的KVCache到EMS内存池。 | |
ContextCaching.async_save | 异步保存推理请求产生的KVCache到EMS内存池。 | |
ContextCaching.load | 从EMS内存池中同步加载KVCache到加速卡显存。 | |
ContextCaching.async_load | 从EMS内存池中异步加载KVCache到加速卡显存。 | |
ContextCaching.is_ready | 检测返回的异步Future对象是否已完成计算。 | |
ContextCaching. get_result | 获取返回的异步Future对象的结果。 |

