ALM-19021 RegionSever handler 使用率超过阈值

告警解释

系统每30秒周期性检测每个HBase服务实例RegionServer的handler使用率。当检测到某个RegionServer上的handler使用率超出阈值（默认连续5次超过默认阈值90%）时产生该告警。当handler使用率小于或等于阈值时，告警消除。

告警属性

告警ID	告警级别	是否自动清除
19021	重要	是

告警参数

参数名称	参数含义
来源	产生告警的集群名称。
服务名	产生告警的服务名称。
角色名	产生告警的角色名称。
主机名	产生告警的主机名。
Trigger Condition	系统当前指标取值满足自定义的告警设置条件。

对系统的影响

RegionServer的handler使用率超出阈值，会影响RegionServer对外提供服务的能力，如果集群的大部分RegionServer的handler使用率超过阈值，可导致HBase无法对外提供服务。

可能原因

handler配置值过低。
请求存在热点问题。

处理步骤

查看告警定位信息

在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选择“告警ID”为“19021”的告警，查看“定位信息”中产生该告警的服务实例和主机名。

查看handler配置

选择“集群 > 服务 > HBase > 配置”，在界面右上角搜索“hbase.regionserver.handler.count”，查看RegionServer角色对应的该参数值是否过低，默认值是“200”。
- 是，执行3。
- 否，执行5。
适当调大参数值并保存配置，选择“集群 > 服务 > HBase > 实例”，勾选受影响的“RegionServer”实例，选择“更多 > 滚动重启 ”，在弹出的界面中输入用户和密码，单击“确定”，在“滚动重启实例”界面单击“确定”，等待滚动重启完成，使其生效。
配置生效后，在告警列表中，查看本告警是否清除。
- 是，处理完毕。
- 否，执行5。

检查集群是否存在热点问题

在FusionInsight Manager首页，选择“集群 > 服务 > HBase”，单击“HMaster WebUI”后的“HMaster(主)”链接，进入该HBase实例的WebUI页面，查看“Home”页签的“Region Servers”区域中的“Requests”中的“Filtered Read Request Count”和“Write Request Count”列的请求分布是否均衡。
- 是，执行13。
- 否，执行6。
排查Region是否分布均衡。
在FusionInsight Manager首页，选择“集群 > 服务 > HBase”，单击“HMaster WebUI”后的“HMaster(主)”链接，打开该HBase实例的WebUI界面，查看“Home”页签的“Region Servers”区域的“Base Stats”中的“Num.Regions”列的Region分布是否均衡。
- 是，执行13。
- 否，执行7。
以omm用户登录故障RegionServer节点。
进入客户端安装目录，配置环境变量。
cd 客户端安装目录

source bigdata_env

如果集群采用安全版本，要执行以下命令进行安全认证：

kinit hbase

按提示输入密码（向MRS集群管理员获取密码）。
执行以下命令查看目前负载均衡功能是否打开，结果显示为“true”，则表示负载均衡功能已打开。
hbase shell

balancer_enabled
```
hbase:004:0> balancer_enabled
true
Took 0.0165 seconds
=> true
```
- 是，执行13。
- 否，执行10。
在hbase shell中执行以下命令打开负载均衡功能，并查看是否成功打开。
balance_switch true

balancer_enabled

建议打开和手动触发负载均衡操作在业务低峰期进行。
执行以下命令手动触发负载均衡。
balancer
执行完均衡后，等待一段时间，再登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”，观察该告警是否清除。
- 是，处理完毕。
- 否，执行13。