ALM-14002 DataNode磁盘空间使用率超过阈值（2.x及以前版本）

告警解释

系统每30秒周期性检测DataNode磁盘空间使用率，并把实际磁盘使用率和阈值相比较。DataNode容量百分比指标默认提供一个阈值范围。当检测到DataNode容量百分比指标超出阈值范围时产生该告警。

当DataNode容量百分比指标的值小于或等于阈值时，告警恢复。

告警属性

告警参数

对系统的影响

DataNode容量不足，会影响到HDFS的数据写入。

可能原因

• 集群磁盘容量已满。
• DataNode节点间数据倾斜。

处理步骤

1. 检查集群磁盘容量是否已满。
   1. 登录MRS集群详情页面，在“告警管理”页面查看是否存在“ALM-14001 HDFS磁盘空间使用率超过阈值”告警。
      • 是，执行1.b。
      • 否，执行2.a。
   2. 参考ALM-14001 HDFS磁盘空间使用率超过阈值进行处理，查看对应告警是否清除。
      • 是，执行1.c。
      • 否，执行3。
   3. 等待5分钟后，在“告警管理”页面查看本告警是否清除。
      • 是，处理完毕。
      • 否，执行2.a。

2. 检查DataNode节点平衡状态。
   1. 在集群节点使用客户端，执行hdfs dfsadmin -report命令，查看出现告警的DataNode的DFS Used%显示项的值和其他的DataNodes的DFS Used%显示项的值比较。查看是否有差值大于10。
      • 是，执行2.b。
      • 否，执行3。
   2. 数据倾斜，在集群节点使用客户端，执行hdfs balancer -threshold 10。
   3. 等待5分钟，检查本告警是否恢复。
      • 是，处理完毕。
      • 否，执行3。

3. 收集故障信息。
   1. 在MRS Manager界面，单击“系统设置 > 日志导出”。
   2. 请联系运维人员，并发送已收集的故障日志信息。

参考信息

无。