更新时间:2025-09-08 GMT+08:00
分享

获取Context Caching对象

功能介绍

获取Ems初始化的Context Caching对象,在访问Context Caching的相关接口前使用。

方法定义

Ems.get_cc()

请求参数说明

无。

返回结果说明

表1 返回结果

类型

说明

Context Caching

参数解释:

获取ContextCaching对象,用于后续访问传输KVCache的接口。如果Ems未初始化成功则返回None。

取值范围:

无。

代码样例

以下为获取ContextCaching对象示例,用于后续执行该对象内部的方法。

from ems import Ems, EmsConfig, EmsException, CcConfig 
# 初始化cc配置 
cc_config = CcConfig(rank_id=8, device_id=0, model_id="llama2-13b") 
# 初始化Ems 
config = EmsConfig(cc_config=cc_config) 
try: 
    Ems.init(config) 
except EmsException as e: 
    print(f"exception: {e}.") 
    exit(1) 
cc = Ems.get_cc() 
if cc is None: 
    print(f"cc is not initialized.")

相关文档