获取Context Caching对象
功能介绍
获取Ems初始化的Context Caching对象,在访问Context Caching的相关接口前使用。
方法定义
Ems.get_cc()
请求参数说明
无。
返回结果说明
|
类型 |
说明 |
|---|---|
|
Context Caching |
参数解释: 获取ContextCaching对象,用于后续访问传输KVCache的接口。如果Ems未初始化成功则返回None。 取值范围: 无。 |
代码样例
以下为获取ContextCaching对象示例,用于后续执行该对象内部的方法。
from ems import Ems, EmsConfig, EmsException, CcConfig
# 初始化cc配置
cc_config = CcConfig(rank_id=8, device_id=0, model_id="llama2-13b")
# 初始化Ems
config = EmsConfig(cc_config=cc_config)
try:
Ems.init(config)
except EmsException as e:
print(f"exception: {e}.")
exit(1)
cc = Ems.get_cc()
if cc is None:
print(f"cc is not initialized.")