ALM-19020 HBase容灾等待同步的wal文件数量超过阈值

告警解释

系统每30秒周期性检测每个HBase服务实例RegionServer等待同步的wal文件数量。该指标可以在RegionServer角色监控界面查看，当检测到某个RegionServer上的等待同步wal文件数量超出阈值（默认连续20次超过默认阈值128）时产生该告警。用户可通过“运维 > 告警 > 阈值设置> 待操作集群 > HBase”修改阈值。当等待同步的wal文件数量小于或等于阈值时，告警消除。

告警属性

告警ID	告警级别	是否自动清除
19020	重要	是

告警参数

参数名称	参数含义
来源	产生告警的集群名称。
服务名	产生告警的服务名称。
角色名	产生告警的角色名称。
主机名	产生告警的主机名。
Trigger Condition	系统当前指标取值满足自定义的告警设置条件。

对系统的影响

RegionServer等待同步的wal文件数量超出阈值，大量数据积压，导致大量主备数据不一致，使得容灾主备倒换或者双读从备集群读取不到最新的数据。如果持续不处理，还会导致主集群的存储空间以及ZooKeeper节点被大量积压，最终导致主集群服务故障。

可能原因

网络异常。
RegionServer的Region分布不均匀。
备集群HBase服务规模过小。

处理步骤

查看告警定位信息

在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选择“告警ID”为“19020”的告警，查看“定位信息”中产生该告警的服务实例和主机名。

检查主备集群RegionServer之间的网络连接。

执行ping命令，查看故障RegionServer节点和备集群RegionServer所在主机的网络连接是否正常。
- 是，执行5
- 否，执行3
联系网络管理员恢复网络。
网络恢复后，在告警列表中，查看本告警是否清除。
- 是，处理完毕。
- 否，执行5。

检查主集群RegionServer的Region分布情况

在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase”，单击“HMaster(主)”，打开该HBase实例的WebUI，查看Region Servers上Region分布是否均衡。
以omm用户登录故障RegionServer节点。
进入客户端安装目录，设置环境变量。

cd 客户端安装目录

source bigdata_env

如果集群采用安全版本，要进行安全认证。执行kinit hbase命令，按提示输入密码（向MRS集群管理员获取密码）。
执行以下命令查看目前负载均衡功能是否打开。

hbase shell
balancer_enabled
- 是，执行10。
- 否，执行9。
在hbase shell中执行命令打开负载均衡功能，并执行命令查看确认成功打开。

balance_switch true

balancer_enabled
执行balancer命令手动触发负载均衡。

建议打开和手动触发负载均衡操作在业务低峰期进行。
观察该告警是否清除。
- 是，处理完毕。
- 否，执行12。

检查备集群HBase服务规模

对HBase集群扩容，增加节点，并在节点上增加RegionServer实例。然后执行步骤6-步骤10，打开负载均衡功能并手动触发。
在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase”，单击“HMaster(主)”，打开该HBase实例的WebUI，刷新页面查看Region分布是否均衡。
- 是，执行14。
- 否，执行15。
观察该告警是否清除。
- 是，处理完毕。
- 否，执行15。