文档首页/ 弹性内存存储 EMS/ Python/ 常见问题/ ContextCaching接口超时时间如何设置?
更新时间:2025-06-19 GMT+08:00
分享

ContextCaching接口超时时间如何设置?

ContextCaching的读写相关接口执行时间,跟请求并发数、每个请求的键值对数量有关系,当前单个请求超时时间默认5秒,用户可以根据SLO(Service Level Objective,服务级别目标,例如吞吐、首token时延等)、请求batch数和KVCache数据量,合理设置超时时间。例如:长序列场景要求的首token时延是5秒,超时时间建议设置为3秒。

相关文档