作业管理接口限制调用或并发拦截

用户问题

用户在作业管理页面，进行作业操作时触发接口异常，无法进行作业操作。

问题现象

在作业页面添加、删除、查询等操作时，触发如下接口异常报错：

原因分析

由于作业接口API会调用至租户面，触发作业接口会在Jetty线程池中等待与租户面的交互，当大量接口进行调用会超过单租户的流控上限，这样可能导致集群异常或关机，导致大量接口进行超时重试，从而长时间占用线程池导致占满崩溃。因此需要加入熔断及并发上限拦截此类保护机制，当触发保护机制时会取消本次接口调用，这样有利于集群的可靠性和稳定性。

处理步骤

1. 检查ECS状态，查看ECS是否异常，如果ECS机器异常导致API接口大量失败触发保护机制，可联系ECS运维人员定位和恢复。
2. 对安全组和ACL排查，咨询/排查用户最近是否有做安全组改动、子网是否添加/修改过ACL规则。
3. 如果这两项均无异常，可联系MRS运维人员进行异常排查。如果断路器或者并发拦截影响客户正常业务，可以让MRS运维人员屏蔽该保护机制，但是可能会导致过多的超时接口导致线程阻塞。