弹性内存存储 EMS
弹性内存存储 EMS
链接复制成功!
获取详细信息
功能介绍
EMS捕获到接口执行异常,可以通过接口获取异常详细信息。
方法定义
EmsExcepiton.message()
返回结果
类型 |
说明 |
---|---|
string |
参数解释: 返回异常详细说明。 取值范围: 无 |
代码样例
本示例用于获取异常详细描述信息 。
import os
import torch, torch_npu
from ems import Ems, EmsConfig, EmsException, CcConfig, CcKvOption, KvBufferWrapper
# 初始化cc配置
cc_config = CcConfig(rank_id=8, device_id=0, model_id="llama2-13b")
# 初始化Ems
config = EmsConfig(cc_config=cc_config)
try:
Ems.init(config)
except EmsException as e:
print(f"exception: {e}.")
exit(1)
# 获取context caching对象
cc = Ems.get_cc()
if cc is None:
print("cc is None.")
exit(1)
# 设置save请求的超时时间
option = CcKvOption(timeout=5000)
# 组成键值列表
key_list = ["hello_world"]
# 仅支持npu设备的tensor
data = torch.ones(1, 4, 2, device="npu:1")
data_len = data.numel() * data.element_size()
val_list = [[KvBufferWrapper(data.data_ptr, data_len)]]
# 多次异步下发异步load请求,增加load并发能力。
try:
result = cc.load(option, key_list, val_list)
except EmsException as e:
print(f"failed to load, message: {e.message()}.")
父主题: 异常处理