在线服务预测报错ModelArts.8803

问题现象

在线服务部署完成且服务已经处于“运行中”的状态，向服务发起推理请求，报错“ModelArts.8803”。常见报错信息为：Request Failed: EOF。

原因分析

ModelArts.8803报错指的是推理转发组件将请求转发至推理服务端时失败。

报错Request Failed: EOF触发条件为客户端请求超时时间大于推理服务端连接超时时间。当服务端超时并关闭连接，而客户端此刻恰好复用该连接并发送请求，导致客户端从服务端尝试读取响应时返回EOF。

处理方法

请检查客户端的请求超时时间与推理服务端的连接超时时间，其中客户端请求超时时间可通过部署服务和修改服务配置。

图1 请求超时时间

基于上一步检查得到的请求超时时间，可选择修改客户端的请求超时时间，或修改服务端的连接超时时间，使得客户端的请求超时时间小于推理服务端的连接超时时间。最佳方案是服务端连接超时时间 = 客户端请求超时时间 × 1.2~1.5。

修改客户端的请求时间可通过修改在线服务配置修改“请求超时时间（秒）”。详情请见修改在线服务配置。

1. 登录ModelArts管理控制台，在左侧菜单栏中选择“模型推理 > 在线推理”，进入在线服务管理页面。
2. 在服务列表中，单击目标服务操作列的“更多>修改服务”，在高可用配置修改“请求超时时间（秒）”，然后单击“确认修改”提交修改任务。