弹性内存存储 EMS
弹性内存存储 EMS
本文导读
展开导读
链接复制成功!
ContextCaching接口超时时间如何设置?
ContextCaching的读写相关接口执行时间,跟请求并发数、每个请求的键值对数量有关系,当前单个请求超时时间默认5秒,用户可以根据SLO(Service Level Objective,服务级别目标,例如吞吐、首token时延等)、请求batch数和KVCache数据量,合理设置超时时间。例如:长序列场景要求的首token时延是5秒,超时时间建议设置为3秒。
父主题: 常见问题