弹性内存存储 EMS
弹性内存存储 EMS
链接复制成功！
EMS存储初始化
功能说明
Ems是访问EMS服务的Python客户端，它为调用者提供一系列与EMS服务进行交互的接口，提供EMS内存池健康检查等能力，以及ContextCaching等存储功能。
方法定义
init(config)构造函数参数描述
|
参数名称 |
参数类型 |
是否必选 |
描述 |
|---|---|---|---|
|
config |
必选 |
参数解释： EMS存储SDK初始化配置。 约束限制： 不能为None 取值范围： 无 默认取值： 无 |
|
参数名称 |
参数类型 |
是否必选 |
描述 |
|---|---|---|---|
|
cc_config |
可选 |
参数解释： 用于初始化Context Caching的配置。 约束限制： 无 取值范围： 无 默认取值： None，表示不使用Context Caching功能。 |
|
参数名称 |
参数类型 |
是否必选 |
描述 |
|---|---|---|---|
|
rank_id |
int |
是 |
参数解释： 当前计算进程，使用加速卡的全局rank ID。 约束限制：
取值范围： [0,当前实例rank个数) 默认取值： 无 |
|
device_id |
int |
是 |
参数解释： 当前计算进程，使用加速卡的本地节点rank ID。 约束限制：
取值范围： [0,当前实例本节点内rank个数) 默认取值： 无 |
|
model_id |
string |
是 |
参数解释： 唯一标识当前实例使用的推理模型ID。 约束限制：
取值范围： 无 默认取值： 无 |
|
tp_world_size |
int |
否 |
参数解释： 实例TP并行度。 约束限制： 必须为数字。 取值范围： [1,当前实例rank个数) 默认取值： 1。 |
|
pp_world_size |
int |
否 |
参数解释： 实例PP并行度。 约束限制： 必须为数字。 取值范围： [1,当前实例rank个数)。 默认取值： 1。 |
代码样例
- 初始化Ems，示例为支持ContextCaching对象初始化：
# 引入模块 import os from ems import Ems, EmsConfig, EmsException, CcConfig # 初始化cc配置 cc_config = CcConfig(rank_id=8, device_id=0, model_id="llama2-13b") # 初始化Ems config = EmsConfig(cc_config=cc_config) try: Ems.init(config) except EmsException as e: print(f"exception: {e}.")
说明：
- 一个进程中只会初始化一次Ems，以及Context Caching对象。
父主题： 初始化
