ALM-19020 HBase容灾等待同步的wal文件数量超过阈值

告警解释

系统每30秒周期性检测每个HBase服务实例RegionServer等待同步的wal文件数量。该指标可以在RegionServer角色监控界面查看，当检测到某个RegionServer上的等待同步wal文件数量超出阈值（默认连续20次超过默认阈值128）时产生该告警。用户可通过“运维 > 告警 > 阈值设置> 待操作集群 > HBase”修改阈值。当等待同步的wal文件数量小于或等于阈值时，告警消除。

告警属性

告警参数

对系统的影响

RegionServer等待同步的wal文件数量超出阈值，大量数据积压，导致大量主备数据不一致，使得容灾主备倒换或者双读从备集群读取不到最新的数据。如果持续不处理，还会导致主集群的存储空间以及ZooKeeper节点被大量积压，最终导致主集群服务故障。

可能原因

• 网络异常。
• RegionServer的Region分布不均匀。
• 备集群HBase服务规模过小。

处理步骤

查看告警定位信息

1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选择“告警ID”为“19020”的告警，查看“定位信息”中产生该告警的服务实例和主机名。

检查主备集群RegionServer之间的网络连接。

2. 执行ping命令，查看故障RegionServer节点和备集群RegionServer所在主机的网络连接是否正常。
   • 是，执行5
   • 否，执行3

3. 联系网络管理员恢复网络。
4. 网络恢复后，在告警列表中，查看本告警是否清除。
   • 是，处理完毕。
   • 否，执行5。

检查主集群RegionServer的Region分布情况

5. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase”，单击“HMaster(主)”，打开该HBase实例的WebUI，查看Region Servers上Region分布是否均衡。
6. 以omm用户登录故障RegionServer节点。
7. 进入客户端安装目录，设置环境变量。

   cd 客户端安装目录

   source bigdata_env

   如果集群采用安全版本，要进行安全认证。执行kinit hbase命令，按提示输入密码（向MRS集群管理员获取密码）。

8. 执行以下命令查看目前负载均衡功能是否打开。

   hbase shell

   balancer_enabled

   • 是，执行10。
   • 否，执行9。

9. 在hbase shell中执行命令打开负载均衡功能，并执行命令查看确认成功打开。

   balance_switch true

   balancer_enabled

10. 执行balancer命令手动触发负载均衡。
    

    建议打开和手动触发负载均衡操作在业务低峰期进行。

11. 观察该告警是否清除。
    • 是，处理完毕。
    • 否，执行12。

检查备集群HBase服务规模

12. 对HBase集群扩容，增加节点，并在节点上增加RegionServer实例。然后执行步骤6-步骤10，打开负载均衡功能并手动触发。
13. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase”，单击“HMaster(主)”，打开该HBase实例的WebUI，刷新页面查看Region分布是否均衡。
    • 是，执行14。
    • 否，执行15。

14. 观察该告警是否清除。
    • 是，处理完毕。
    • 否，执行15。

收集故障信息

15. 在主备群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
16. 在“服务”中勾选待操作集群的“HBase”。
17. 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
18. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。