服务预测失败

问题现象

在线服务部署完成且服务已经处于“运行中”的状态，向服务发起推理请求，预测失败。

原因分析及处理方法

服务预测需要经过客户端、外部网络、APIG、Dispatch、模型服务多个环节。每个环节出现都会导致服务预测失败。

图1 推理服务流程图

1. 出现APIG.XXXX类型的报错，表示请求在APIG（API网关）出现问题而被拦截。

   常见问题请参见服务预测失败，报错APIG.XXXX。

   其他被APIG（API网关）拦截的场景：

   • Method Not Allowed
   • 请求超时返回Timeout
2. 出现ModelArts.XXXX类型的报错，表示请求在Dispatcher出现问题而被拦截。

   常见报错：

   • 在线服务预测报错ModelArts.4302
   • 在线服务预测报错ModelArts.4206
   • 在线服务预测报错ModelArts.4503
3. 当使用推理的镜像并且出现MR.XXXX类型的错误时，表示已进入模型服务，一般是模型推理代码编写有问题。

   请根据构建日志报错信息，定位服务预测失败原因，修改模型推理代码后，重新导入模型进行预测。

   经典案例：在线服务预测报错MR.0105

4. 出现其他情况，优先检查客户端和外部网络是否有问题。
5. 以上方法均未解决问题，请联系系统管理员。