更新时间:2022-05-13 GMT+08:00
分享

ALM-14002 DataNode磁盘空间使用率超过阈值

告警解释

系统每30秒周期性检测DataNode磁盘空间使用率,并把实际磁盘使用率和阈值相比较。DataNode容量百分比指标默认提供一个阈值范围。当检测到DataNode容量百分比指标超出阈值范围时产生该告警。

当DataNode容量百分比指标的值小于或等于阈值时,告警恢复。

告警属性

告警ID

告警级别

可自动清除

14002

严重

告警参数

参数名称

参数含义

ServiceName

产生告警的服务名称。

RoleName

产生告警的角色名称。

HostName

产生告警的主机名。

Trigger condition

系统当前指标取值满足自定义的告警设置条件。

对系统的影响

DataNode容量不足,会影响到HDFS的数据写入。

可能原因

  • 集群磁盘容量已满。
  • DataNode节点间数据倾斜。

处理步骤

  1. 检查集群磁盘容量是否已满。

    1. 登录MRS集群详情页面,在“告警管理”页面查看是否存在“ALM-14001 HDFS磁盘空间使用率超过阈值”告警。
      • 是,执行1.b
      • 否,执行2.a
    2. 参考ALM-14001 HDFS磁盘空间使用率超过阈值进行处理,查看对应告警是否清除。
      • 是,执行1.c
      • 否,执行3
    3. 等待5分钟后,在“告警管理”页面查看本告警是否清除。
      • 是,处理完毕。
      • 否,执行2.a

  2. 检查DataNode节点平衡状态。

    1. 在集群节点使用客户端,执行hdfs dfsadmin -report命令,查看出现告警的DataNode的DFS Used%显示项的值和其他的DataNodes的DFS Used%显示项的值比较。查看是否有差值大于10。
      • 是,执行2.b
      • 否,执行3
    2. 数据倾斜,在集群节点使用客户端,执行hdfs balancer -threshold 10
    3. 等待5分钟,检查本告警是否恢复。
      • 是,处理完毕。
      • 否,执行3

  3. 收集故障信息。

    1. 在MRS Manager界面,单击“系统设置 > 日志导出”。
    2. 请联系运维人员,并发送已收集的故障日志信息。

参考信息

无。

分享:

    相关文档

    相关产品

close