ALM-19019 HBase容灾等待同步的HFile文件数量超过阈值
告警解释
系统每30秒周期性检测每个HBase服务实例RegionServer等待同步的HFile文件数量。该指标可以在RegionServer角色监控界面查看，当检测到某个RegionServer上的等待同步HFile文件数量超出阈值（默认连续20次超过默认阈值128）时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群 > HBase”来修改阈值。当等待同步的HFile文件数量小于或等于阈值时，告警消除。
告警属性
|
告警ID |
告警级别 |
告警类型 |
业务类型 |
是否可自动清除 |
|---|---|---|---|---|
|
19019 |
重要 |
业务质量告警 |
HBase |
是 |
告警参数
|
类别 |
参数名称 |
参数含义 |
|---|---|---|
|
定位信息 |
来源 |
产生告警的集群名称。 |
|
服务名 |
产生告警的服务名称。 |
|
|
角色名 |
产生告警的角色名称。 |
|
|
主机名 |
产生告警的主机名。 |
|
|
附加信息 |
Trigger Condition |
系统当前指标取值满足自定义的告警设置条件。 |
对系统的影响
RegionServer等待同步的HFile文件数量超出阈值，大量数据积压，导致大量主备数据不一致，使得容灾主备倒换或者双读从备集群读取不到最新的数据。如果持续不处理，还会导致主集群的存储空间以及ZooKeeper节点被大量积压，最终导致主集群服务故障。
可能原因
- 网络异常。
- RegionServer的Region分布不均匀。
- 备集群HBase服务规模过小。
处理步骤
查看告警定位信息
- 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选择“告警ID”为“19019”的告警，查看“定位信息”中产生该告警的服务实例和主机名。
检查主备集群RegionServer之间的网络连接。
- 执行ping命令，查看故障RegionServer节点和备集群RegionServer所在主机的网络连接是否正常。
- 联系网络管理员恢复网络。
- 网络恢复后，在告警列表中，查看本告警是否清除。
- 是，处理完毕。
- 否，执行5。
检查主集群RegionServer的Region分布情况
- 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase”，单击“HMaster(主)”，打开该HBase实例的WebUI，查看Region Servers上Region分布是否均衡。
- 以omm用户登录故障RegionServer节点。
- 进入客户端安装目录，设置环境变量。
cd 客户端安装目录
source bigdata_env
如果集群采用安全版本，要进行安全认证。执行kinit hbase命令，按提示输入密码（向MRS集群管理员获取密码）。
- 执行以下命令查看目前负载均衡功能是否打开。
hbase shell
- 在hbase shell中执行命令打开负载均衡功能，并执行命令查看确认成功打开。
balance_switch true
balancer_enabled
- 执行balancer命令手动触发负载均衡。
建议打开和手动触发负载均衡操作在业务低峰期进行。
- 观察该告警是否清除。
- 是，处理完毕。
- 否，执行12。
检查备集群HBase服务规模
- 对HBase集群扩容，增加节点，并在节点上增加RegionServer实例。然后执行步骤6 -步骤10，打开负载均衡功能并手动触发。
- 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase”，单击“HMaster(主)”，打开该HBase实例的WebUI，刷新页面查看Region分布是否均衡。
- 观察该告警是否清除。
- 是，处理完毕。
- 否，执行15。
收集故障信息
告警清除
此告警修复后，系统会自动清除此告警，无需手工清除。
参考信息
不涉及。
