ALM-19024 RegionServer RPC响应时间的P99超过阈值

告警解释

系统每30秒周期性检测每个HBase服务的RegionServer实例的RPC请求响应时间的P99。当检测到某个RegionServer上的RPC请求响应时间的P99连续10次超出阈值时产生该告警。

当RegionServer实例的RPC请求响应时间的P99小于或等于阈值时，告警消除。

告警属性

告警参数

对系统的影响

RegionServer RPC响应时间的P99超过阈值，会影响RegionServer对外提供服务的能力。对于时延敏感型业务，可能会导致大量的业务读写请求超时。

可能原因

• RegionServer GC时间过长。
• HDFS RPC响应时间过长。
• RegionServer并发数过高。

处理步骤

1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看“告警ID”为“19024”的告警的“定位信息”中上报该告警的服务实例和主机名。

检测RegionServer的GC时间。

2. 在FusionInsight Manager的告警列表中，查看1中的告警实例是否有“HBase GC时间超出阈值”告警产生。
   • 是，执行3。
   • 否，执行5。

3. 参考“ALM-19007 HBase GC时间超出阈值”的处理步骤处理该故障。
4. 等待几分钟后，在告警列表中查看该告警是否清除。
   • 是，处理完毕。
   • 否，执行5。

检查HDFS RPC响应时间。

5. 在FusionInsight Manager的告警列表中，查看HBase服务依赖的HDFS服务是否有“NameNode RPC处理平均时间超过阈值”告警产生。
   • 是，执行6。
   • 否，执行8。

6. 参考“ALM-14021 NameNode RPC处理平均时间超过阈值”的处理步骤处理该故障。
7. 等待几分钟后，在告警列表中查看该告警是否清除。
   • 是，处理完毕。
   • 否，执行8。

检查RegionServer并发数。

8. 在FusionInsight Manager的告警列表中，查看1中的告警实例是否有“RegionSever handler 使用率超过阈值”告警产生。
   • 是，执行9。
   • 否，执行11。

9. 参考“ALM-19021 RegionSever handler 使用率超过阈值”的处理步骤处理该故障。
10. 等待几分钟后，在告警列表中查看该告警是否清除。
    • 是，处理完毕。
    • 否，执行11。

收集故障信息

11. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
12. 在“服务”中勾选待操作集群的“HBase”。
13. 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
14. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。