ALM-19007 HBase合并队列超出阈值(2.x及以前版本)
告警解释
系统每30秒周期性检测HBase服务的compaction队列长度,默认当连续3次检测到HBase服务的compaction队列长度超过告警的阈值(默认100)时产生该告警。当compaction队列长度小于告警的阈值时,告警恢复。
告警属性
告警ID |
告警级别 |
是否自动清除 |
---|---|---|
19007 |
次要 |
是 |
告警参数
参数名称 |
参数含义 |
---|---|
服务名 |
产生告警的服务名称。 |
角色名 |
产生告警的角色名称。 |
主机名 |
产生告警的主机名。 |
对系统的影响
产生该告警表示HBase服务的compaction队列长度已经超过规定的阈值,如果不及时处理,可能会导致集群性能下降,影响数据读写。
可能原因
- HBase RegionServer数太少。
- HBase单个RegionServer上Region数过多。
- HBase RegionServer堆大小较小。
- 资源不足。
- 相关参数配置不合理。
处理步骤
- 检查HBase相关配置是否合理。
- 登录MRS集群详情页面,选择“组件管理 > HBase > 服务配置”,将“基础配置”切换为“全部配置”,搜索“hbase.hstore.compaction.min”,“hbase.hstore.compaction.max”,“hbase.regionserver.thread.compaction.small”和“hbase.regionserver.thread.compaction.throttle”,适当调大其值。
若未同步IAM用户,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
- 保存配置后,选择在业务低峰期进行重启或滚动重启HBase服务使配置生效。
- 观察界面告警是否清除。
- 是,处理完毕。
- 否,执行2。
- 登录MRS集群详情页面,选择“组件管理 > HBase > 服务配置”,将“基础配置”切换为“全部配置”,搜索“hbase.hstore.compaction.min”,“hbase.hstore.compaction.max”,“hbase.regionserver.thread.compaction.small”和“hbase.regionserver.thread.compaction.throttle”,适当调大其值。
- 收集故障信息。
- 在MRS Manager界面,单击“系统设置 > 日志导出”。
- 请联系运维人员,并发送已收集的故障日志信息。
告警清除
此告警修复后,系统会自动清除此告警,无需手工清除。
参考信息
无。