ALM-12017 磁盘容量不足（2.x及以前版本）

告警解释

系统每30秒周期性检测磁盘容量，并把实际磁盘容量和阈值相比较。磁盘容量默认提供一个阈值。当检测到磁盘容量低于阈值时产生该告警。

用户可通过“系统设置 > 阈值配置”修改阈值。

当主机磁盘使用率小于或等于阈值时，告警恢复。

告警属性

告警参数

对系统的影响

业务进程不可用。

可能原因

磁盘配置无法满足业务需求，磁盘使用率达到上限。

处理步骤

1. 登录MRS Manager，查看该告警阈值是否不合理。
   1. 默认90%为合理值，用户可以根据自己的实际需求调节。
      • 是，执行2。
      • 否，执行1.b。
   2. 根据实际服务的使用情况在“系统设置 > 阈值配置”中更改告警阈值。
   3. 等待2分钟，查看告警是否消失。
      • 是，处理完毕。
      • 否，执行2。

2. 判断是否为系统盘。
   1. 打开MRS集群详情页面，在告警管理页签的告警列表中，单击此告警所在行，在告警详情中，查看该告警的主机名称和磁盘分区信息。
   2. 登录告警节点。
   3. 执行df -h命令，查看系统磁盘分区的使用信息。并通过2.a中获取到的磁盘分区名称，查看该磁盘是否挂载在如下几个目录下：“/”、“/boot”、“/home”、“/opt”、“/tmp”、“/var”、“/var/log”、“/boot”、“/srv/BigData”。
      • 是，说明该磁盘为系统盘，执行3.a。
      • 否，说明该磁盘为非系统盘，执行2.d。
   4. 执行df -h命令，查看系统磁盘分区的使用信息。并通过2.a中获取到的磁盘分区名称，判断该磁盘属于哪一个角色。
   5. 磁盘所属服务是否为HDFS或Yarn其中之一。
      • 是，请为Core节点扩容磁盘。然后执行2.f。
      • 否，执行4。
   6. 等待2分钟，查看告警是否消失。
      • 是，处理完毕。
      • 否，执行3。

3. 判断是否有误写入的大文件。
   1. 执行命令find / -xdev -size +500M -exec ls -l {} \;，查看该节点上超过500MB的文件，查看该磁盘中，是否有误写入的大文件存在。
      • 是，执行3.b。
      • 否，执行4。
   2. 处理该误写入的文件，并等待2分钟，查看告警是否清除。
      • 是，执行完毕。
      • 否，执行4。
   3. 扩容磁盘。
   4. 等待2分钟，查看告警是否消失。
      • 是，处理完毕。
      • 否，执行4。

4. 收集故障信息。
   1. 在MRS Manager界面，单击“系统设置 > 日志导出”。
   2. 请联系运维人员，并发送已收集的故障日志信息。

参考信息

无。