# ALM-19014 在ZooKeeper上的容量配额使用率严重超过阈值
#### 告警解释
系统每120秒周期性检测HBase服务的znode使用情况，当检测到HBase服务的znode容量使用率超出紧急告警的阈值（默认90%）时产生该告警。
当znode的容量使用率小于严重告警的阈值（默认75%）时，告警恢复。
#### 告警属性
| 告警ID  | 告警级别 | 是否自动清除 |
|:---|:---|:---|
| 19014 | 紧急   | 是      |
   
#### 告警参数
| 参数名称           | 参数含义              |
|:---|:---|
| 来源       | 产生告警的集群名称。 |
| 服务名            | 产生告警的服务名称。        |
| 角色名            | 产生告警的角色名称。        |
| 主机名            | 产生告警的主机名。          |
| Threshold | 产生告警的阈值。       |
   
#### 对系统的影响
产生该告警表示HBase服务的znode的容量使用率已经严重超过规定的阈值，会导致HBase服务的写入请求失败。
#### 可能原因
- HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢。
- HBase集群存在大量的WAL文件在进行split。
 
#### 处理步骤
**检查znode容量配置和使用量** **。**
1. 在集群Manager首页，选择"运维 \> 告警 \> 告警"，选中"告警ID"为"19014"的告警，查看"附加信息"中的阈值。 
   登录集群Manager具体操作，请参考[访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.html)。
   
   
2. 以**root** 用户登录安装HBase客户端的节点，执行以下命令：
   
   切换至客户端安装目录：
   ```
   cd 客户端安装目录
   ```
   设置环境变量：
   ```
   source bigdata_env
   ```
   如果集群已启用Kerberos认证（安全模式），需执行以下命令进行安全认证：
   ```
   kinit hbase
   ```
   按提示输入密码（向MRS集群管理员获取密码）。
   
   
3. 登录ZooKeeper客户端并查看HBase服务的znode容量配额**：**
   
   1. 执行以下命令登录ZooKeeper客户端：
      ```
      hbase zkcli
      ```
      
   
   2. 执行以下命令查看对应HBase服务的znode容量配额：
      ```
      listquota /hbase
      ```
      "/hbase"表示ZooKeeper中的HBase的根znode目录，可在HBase服务的参数配置页面搜索"zookeeper.znode.parent"参数获取。
      例如，下图标注所示即为当前HBase服务根znode的容量配置。
      ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002656484099.png "点击放大")
      
   
   
   
   
4. 执行以下命令查看"/hbase/splitWAL"znode的容量使用情况，查看返回结果的"Data size"和根znode容量配额的比值是否接近告警的阈值。 
   ```
   getusage /hbase/splitWAL
   ```
   - 是，执行[步骤 5]。
   
   - 否，执行[步骤 6]。
   
   
   
   
5. 在Manager首页，选择"运维 \> 告警 \> 告警"，查看是否存在"告警ID"为"12007"、"19000"或者"19013"且"定位信息"中的"服务名"为当前HBase服务的告警。
   
   - 是，单击对应告警右侧的"查看帮助"并按照帮助文档进行处理，执行[步骤 8]。
   
   - 否，执行[步骤 9]。
   
   
   
   
6. 执行以下命令查看"/hbase/replication"znode的容量使用情况，查看返回结果的"Data size"和根znode容量配额的比值是否接近告警的阈值。
   
   ```
   getusage /hbase/replication
   ```
   - 是，执行[步骤 7]。
   
   - 否，执行[步骤 9]。
   
   
   
   
7. 选择"运维 \> 告警 \> 告警"，查看是否存在"告警ID"为"19006"且"定位信息"中的"服务名"为当前HBase服务的告警。
   
   - 是，单击对应告警右侧的"查看帮助"并按照帮助文档进行处理，执行[步骤 8]。
   
   - 否，执行[步骤 9]。
   
   
   
   
8. 等待5分钟，观察界面告警是否清除。
   
   - 是，处理完毕。
   
   - 否，执行[步骤 9]。
   
   
   
   
**收集故障信息**
9. 在Manager界面，选择"运维 \> 日志 \> 下载"。
10. 在"服务"中勾选待操作集群的"HBase"。
11. 单击右上角的![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0263895386.png)设置日志收集的"开始时间"和"结束时间"分别为告警产生时间的前后10分钟，单击"下载"。
12. 请联系运维人员，并发送已收集的故障日志信息。
 
#### 告警清除
此告警修复后，系统会自动清除此告警，无需手工清除。
#### 参考信息
无。