ALM-16001 Hive数据仓库空间使用率超过阈值
告警解释
系统每30秒周期性检测Hive数据仓库空间使用率，该指标可在Hive服务监控界面查看，指标名称为“Hive已经使用的HDFS空间占可使用空间的百分比”。Hive数据仓库空间使用率指标默认提供一个阈值范围，当检测到Hive数据仓库空间使用率超过阈值范围时产生该告警。
用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Hive > Hive已经使用的HDFS空间占可使用空间的百分比”修改阈值。
平滑次数为1，Hive数据仓库空间使用率小于或等于阈值时，告警恢复；平滑次数大于1，Hive数据仓库空间使用率小于或等于阈值的90%时，告警恢复。
MRS集群管理员可通过增加仓库容量或释放部分已使用空间的方式降低仓库空间使用率。
告警属性
|
告警ID |
告警级别 |
告警类型 |
业务类型 |
是否可自动清除 |
|---|---|---|---|---|
|
16001 |
MRS 3.3.0之前版本：次要（默认阈值为85%） MRS 3.3.0及之后版本： 紧急（默认阈值为95%） 重要（默认阈值为85%） |
业务质量告警 |
Hive |
是 |
告警参数
|
类别 |
参数名称 |
参数含义 |
|---|---|---|
|
定位信息 |
来源 |
产生告警的集群名称。 |
|
服务名 |
产生告警的服务名称。 |
|
|
角色名 |
产生告警的角色名称。 |
|
|
主机名 |
产生告警的主机名。 |
|
|
附加信息 |
Trigger condition |
系统当前指标取值满足自定义的告警设置条件。 |
对系统的影响
Hive数据仓库空间写满后系统将无法正常写入数据，可能导致部分数据丢失。
可能原因
- Hive使用HDFS容量上限过小。
- HDFS空间不足。
- 部分数据节点瘫痪。
处理步骤
扩展系统配置。
- 分析集群HDFS使用情况，增加HDFS分配给Hive使用的容量上限。
登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置”，选择“全部配置”，然后查找“hive.metastore.warehouse.size.percent”，调大该配置项。设配置项的值为A，HDFS总存储空间为B，阈值为C，Hive已经使用HDFS的空间大小为D。调整策略为A x B x C > D ，HDFS总存储空间可在HDFS NameNode页面查看，Hive已经使用HDFS的空间大小可在Hive的监控界面查看监控指标“Hive已经使用的HDFS空间大小”。
- 检查该告警是否恢复。
- 是，操作结束。
- 否，执行3。
对系统进行扩容。
- 对系统进行扩容。
- 检查该告警是否恢复。
- 是，操作结束。
- 否，执行5。
检查数据节点是否正常。
- 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”。
- 查看是否有“ALM-12006 NodeAgent进程异常”、“ALM-12007 进程故障”、“ALM-14002 DataNode磁盘空间使用率超过阈值”告警。
- 分别参考“ALM-12006 NodeAgent进程异常”、“ALM-12007 进程故障”、“ALM-14002 DataNode磁盘空间使用率超过阈值”的处理步骤处理告警。
- 查看本告警是否恢复。
- 是，操作结束。
- 否，执行9。
收集故障信息。
告警清除
此告警修复后，系统会自动清除此告警，无需手工清除。
参考信息
不涉及。
