在线服务预测报错ModelArts.4302

问题现象

在线服务部署完成且服务已经处于“运行中”的状态后，向运行的服务发起推理请求，报错ModelArts.4302。

原因分析及处理方法

服务预测报错ModelArts.4302有多种场景，以下主要介绍两种场景：

1. "error_msg": "Gateway forwarding error. Failed to invoke backend service due to connection refused. "

   出现该报错有两种情况：

   • 流量超过了模型的处理能力。可以考虑降低流量或者增加模型实例数量。
   • 镜像自身有问题。需要单独运行镜像确保镜像本身能正确提供服务。
2. "error_msg"："Due to self protection, the backend service is disconnected, please wait moment."

   出现该错误，是因为模型报错太多。当模型报错太多时，会触发dispatcher的熔断机制，导致预测失败。建议您检查模型返回结果，处理模型报错问题，可尝试通过调整请求参数、降低请求流量等方式，提高模型调用的成功率。