请求超时时间

解释说明

请求超时时间表示发送推理请求后等待系统返回首Token结果的最长等待时间，超过该时间仍未收到回复，请求将被自动终止。

流式输出场景下，每次收到请求响应时，会重新刷新该“请求超时时间”，但系统端到端响应超时时间默认为3600秒，该默认值可以通过ModelArts Infers Proxy插件修改。

ModelArts Infers Proxy插件中的“网关请求超时时间”表示推理网关从接收到推理请求到该请求结束所允许的最大时长。若超过该时长，客户端将收到网关超时响应码或响应体被截断。

“网关请求超时时间”修改方法请参见ModelArts Infers Proxy文档。