弹性内存存储 EMS
弹性内存存储 EMS
链接复制成功！
获取Context Caching对象
功能介绍
获取Ems初始化的Context Caching对象，在访问Context Caching的相关接口前使用。
方法定义
Ems.get_cc()请求参数说明
无。
返回结果说明
|
类型 |
说明 |
|---|---|
|
ContextCaching |
参数解释： 获取ContextCaching对象，用于后续访问传输KVCache的接口。如果Ems未初始化成功则返回None。 取值范围： 无 |
代码样例
以下为获取ContextCaching对象示例，用于后续执行该对象内部的方法。
from ems import Ems, EmsConfig, EmsException, CcConfig
# 初始化cc配置
cc_config = CcConfig(rank_id=8, device_id=0, model_id="llama2-13b")
# 初始化Ems
config = EmsConfig(cc_config=cc_config)
try:
Ems.init(config)
except EmsException as e:
print(f"exception: {e}.")
exit(1)
cc = Ems.get_cc()
if cc is None:
print(f"cc is not initialized.")
父主题： Ems存储相关接口
