弹性内存存储 EMS
弹性内存存储 EMS
本文导读
展开导读
链接复制成功！
SDK接口概览
表1总结了EMS Python SDK支持的接口及功能描述，每个接口的详细介绍和示例代码请前往接口详情页查看。
SDK API概览
|
接口名 |
方法 |
功能描述 |
|---|---|---|
|
Ems.init |
初始化EMS客户端。 |
|
|
Ems.get_cc |
获取ContextCaching对象，用户后续可以访问对象中的读取/保存KVCache等接口。 |
|
|
Ems.check_health |
EMS健康检查，可以通过接口探测EMS内存池是否正常工作。 |
|
|
ContextCaching.save |
同步保存推理请求产生的KVCache到EMS内存池。 |
|
|
ContextCaching.async_save |
异步保存推理请求产生的KVCache到EMS内存池。 |
|
|
ContextCaching.load |
从EMS内存池中同步加载KVCache到加速卡显存。 |
|
|
ContextCaching.async_load |
从EMS内存池中异步加载KVCache到加速卡显存。 |
