ALM-45744 Guardian TokenServer RPC处理平均时间超过阈值

告警解释

系统每30秒周期性检测TokenServer服务RPC处理平均时间，当连续5次检测到TokenServer实例RPC处理平均时间超出阈值时产生该告警。

当系统检测到TokenServer实例RPC处理平均时间小于阈值时，告警恢复。

该告警仅适用于MRS 3.5.0及之后版本。

告警属性

告警参数

对系统的影响

Guardian TokenServer实例RPC处理平均时间超过阈值可能导致业务访问OBS变慢，严重时会导致无法正常访问OBS。

可能原因

• 告警阈值配置不合理。
• Guardian TokenServer实例设置的内存太小，频繁Full GC造成JVM卡顿。

处理步骤

检查告警阈值设置是否合理。

1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看当前告警详细信息，记录“定位信息”中上报告警的TokenServer实例主机名称。
2. 在FusionInsight Manager首页，选择“集群 > 服务 > Guardian > 实例”，单击1获取的主机名称对应的TokenServer角色，单击图表区域右上角的下拉菜单，选择“定制 > RPC > TokenServer RPC处理平均时间”，单击“确定”。
3. 查看TokenServer RPC处理平均时间是否已达到该告警设定的阈值（紧急告警默认阈值为200ms；重要告警默认阈值为100ms）。
   • 是，执行4。
   • 否，执行6。

4. 在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > 待操作的集群名称 > Guardian > RPC”，单击“TokenServer RPC处理平均时间”，单击“default”规则所在行的“操作”列的“修改”，将“紧急”或“重要”告警级别对应的“阈值”修改为告警出现后1天内监控值的峰值的150%，并单击“确定”保存。
5. 等待5分钟，查看该告警是否自动清除。
   • 是，处理完毕。
   • 否，执行6。

查看Guardian TokenServer内存设置是否过小。

6. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看该TokenServer节点是否上报“TokenServer堆内存使用率超过阈值”告警。
   • 是，执行7。
   • 否，执行9。

7. 参考“ALM-45737 TokenServer堆内存使用率超过阈值”的处理步骤处理该故障。
8. 等待10分钟，查看该告警是否自动消除。
   • 是，处理完毕。
   • 否，执行9。

收集故障信息。

9. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
10. 在“服务”框中勾选待操作集群的“Guardian”。
11. 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
12. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。