更新时间:2022-05-13 GMT+08:00
分享

ALM-12017 磁盘容量不足

告警解释

系统每30秒周期性检测磁盘容量,并把实际磁盘容量和阈值相比较。磁盘容量默认提供一个阈值。当检测到磁盘容量低于阈值时产生该告警。

用户可通过“系统设置 > 阈值配置”修改阈值。

当主机磁盘使用率小于或等于阈值时,告警恢复。

告警属性

告警ID

告警级别

可自动清除

12017

严重

告警参数

参数名称

参数含义

ServiceName

产生告警的服务名称。

RoleName

产生告警的角色名称。

HostName

产生告警的主机名。

PartitionName

产生告警的磁盘分区。

Trigger Condition

系统当前指标取值满足自定义的告警设置条件。

对系统的影响

业务进程不可用。

可能原因

磁盘配置无法满足业务需求,磁盘使用率达到上限。

处理步骤

  1. 登录MRS Manager,查看该告警阈值是否不合理。

    1. 默认90%为合理值,用户可以根据自己的实际需求调节。
      • 是,执行2
      • 否,执行1.b
    2. 根据实际服务的使用情况在“系统设置 > 阈值配置”中更改告警阈值。
    3. 等待2分钟,查看告警是否消失。
      • 是,处理完毕。
      • 否,执行2

  2. 判断是否为系统盘。

    1. 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的主机名称和磁盘分区信息。
    2. 登录告警节点。
    3. 执行df -h命令,查看系统磁盘分区的使用信息。并通过2.a中获取到的磁盘分区名称,查看该磁盘是否挂载在如下几个目录下:“/”、“/boot”、“/home”、“/opt”、“/tmp”、“/var”、“/var/log”、“/boot”、“/srv/BigData”。
      • 是,说明该磁盘为系统盘,执行3.a
      • 否,说明该磁盘为非系统盘,执行2.d
    4. 执行df -h命令,查看系统磁盘分区的使用信息。并通过2.a中获取到的磁盘分区名称,判断该磁盘属于哪一个角色。
    5. 磁盘所属服务是否为HDFS或Yarn其中之一。
      • 是,请为Core节点扩容磁盘。然后执行2.f
      • 否,执行4
    6. 等待2分钟,查看告警是否消失。
      • 是,处理完毕。
      • 否,执行3

  3. 判断是否有误写入的大文件。

    1. 执行命令find / -xdev -size +500M -exec ls -l {} \;,查看该节点上超过500MB的文件,查看该磁盘中,是否有误写入的大文件存在。
      • 是,执行3.b
      • 否,执行4
    2. 处理该误写入的文件,并等待2分钟,查看告警是否清除。
      • 是,执行完毕。
      • 否,执行4
    3. 扩容磁盘。
    4. 等待2分钟,查看告警是否消失。
      • 是,处理完毕。
      • 否,执行4

  4. 收集故障信息。

    1. 在MRS Manager界面,单击“系统设置 > 日志导出”。
    2. 请联系运维人员,并发送已收集的故障日志信息。

参考信息

无。

分享:

    相关文档

    相关产品

close