# ALM-19024 RegionServer RPC响应时间的P99超过阈值
#### 告警解释
系统每30秒周期性检测每个HBase服务的RegionServer实例的RPC请求响应时间的P99。当检测到某个RegionServer上的RPC请求响应时间的P99连续10次超出阈值时产生该告警。
当RegionServer实例的RPC请求响应时间的P99小于或等于阈值时，告警消除。
本章节仅适用于MRS 3.3.0-LTS及之后版本。
#### 告警属性
| 告警ID  | 告警级别                                                                                                                                                                              | 是否可自动清除 |
|:---|:---|:---|
| 19024 | - 紧急：默认阈值为10秒  - 重要：默认阈值为5秒   | 是       |
   
#### 告警参数
| 参数名称              | 参数含义                  |
|:---|:---|
| 来源                | 产生告警的集群名称。            |
| 服务名               | 产生告警的服务名称。            |
| 角色名               | 产生告警的角色名称。            |
| 主机名               | 产生告警的主机名。             |
| Trigger Condition | 系统当前指标取值满足自定义的告警设置条件。 |
   
#### 对系统的影响
RegionServer RPC响应时间的P99超过阈值，会影响RegionServer对外提供服务的能力。对于时延敏感型业务，可能会导致大量的业务读写请求超时。
#### 可能原因
- RegionServer GC时间过长。
- HDFS RPC响应时间过长。
- RegionServer并发数过高。
 
#### 处理步骤
1. 在FusionInsight Manager首页，选择"运维 \> 告警 \> 告警"，查看"告警ID"为"19024"的告警的"定位信息"中上报该告警的服务实例和主机名。
**检测RegionServer的GC时间。**
2. 在FusionInsight Manager的告警列表中，查看[步骤 1]中的告警实例是否有"HBase GC时间超出阈值"告警产生。
   
   - 是，执行[步骤 3]。
   
   - 否，执行[步骤 5]。
   
   
   
   
3. 参考[ALM-19007 HBase GC时间超出阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19007.html)的处理步骤处理该故障。
4. 等待几分钟后，在告警列表中查看该告警是否清除。 
   - 是，处理完毕。
   
   - 否，执行[步骤 5]。
   
   
   
   
**检查HDFS RPC响应时间。**
5. 在FusionInsight Manager的告警列表中，查看HBase服务依赖的HDFS服务是否有"NameNode RPC处理平均时间超过阈值"告警产生。
   
   - 是，执行[步骤 6]。
   
   - 否，执行[步骤 8]。
   
   
   
   
6. 参考[ALM-14021 NameNode RPC处理平均时间超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-14021.html)的处理步骤处理该故障。
7. 等待几分钟后，在告警列表中查看该告警是否清除。 
   - 是，处理完毕。
   
   - 否，执行[步骤 8]。
   
   
   
   
**检查RegionServer并发数。**
8. 在FusionInsight Manager的告警列表中，查看[步骤 1]中的告警实例是否有"RegionServer handler 使用率超过阈值"告警产生。
   
   - 是，执行[步骤 9]。
   
   - 否，执行[步骤 11]。
   
   
   
   
9. 参考[ALM-19021 RegionServer handler 使用率超过阈值](https://support.huaweicloud.com/usermanual-mrs/ALM-19021.html)的处理步骤处理该故障。
10. 等待几分钟后，在告警列表中查看该告警是否清除。 
    - 是，处理完毕。
    
    - 否，执行[步骤 11]。
    
    
    
    
**收集故障信息**
11. 在FusionInsight Manager界面，选择"运维 \> 日志 \> 下载"。
12. 在"服务"中勾选待操作集群的"HBase"。
13. 单击右上角的时间编辑按钮，设置日志收集的"开始时间"和"结束时间"分别为告警产生时间的前后10分钟，单击"下载"。
14. 请联系运维人员，并发送已收集的故障日志信息。
 
#### 告警清除
此告警修复后，系统会自动清除此告警，无需手工清除。
#### 参考信息
不涉及。