更新时间:2023-06-27 GMT+08:00

ALM-14000 HDFS服务不可用

告警解释

系统每60秒周期性检测NameService的服务状态,当检测到所有的NameService服务都异常时,就会认为HDFS服务不可用,此时产生该告警。

至少一个NameService服务正常后,系统认为HDFS服务恢复,告警清除。

告警属性

告警ID

告警级别

是否自动清除

14000

紧急

告警参数

参数名称

参数含义

来源

产生告警的集群名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名。

对系统的影响

无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。

可能原因

  • ZooKeeper服务异常。
  • 所有NameService服务异常。
  • 业务请求量过大,HDFS健康检查读写文件异常。
  • HDFS FullGC导致健康检查失败。

处理步骤

检查ZooKeeper服务状态。

  1. 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”页面,查看系统是否上报“ALM-13000 ZooKeeper服务不可用”告警。

    • 是,执行2
    • 否,执行4

  2. 参考“ALM-13000 ZooKeeper服务不可用”对ZooKeeper服务状态异常进行处理,然后查看ZooKeeper服务的运行状态是否恢复为“良好”。

    • 是,执行3
    • 否,执行13

  3. 在“运维 > 告警 > 告警”页面,查看本告警是否恢复。

    • 是,处理完毕。
    • 否,执行4

处理NameService服务异常告警。

  1. 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”页面,查看是否有“ALM-14010 NameService服务异常”告警。

    • 是,执行5
    • 否,执行7

  2. 按照“ALM-14010 NameService服务异常”的处理方法,依次对这些服务异常的NameService进行处理,然后查看是否消除各个NameService服务异常告警。

    • 是,执行6
    • 否,执行13

  3. 在“运维 > 告警 > 告警”页签,查看该告警是否恢复。

    • 是,处理完毕。
    • 否,执行7

检查是否处理业务请求量过大,导致HDFS健康检查读写文件异常。

  1. 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”页面,查看是否有“ALM-14021 NameNode RPC处理平均时间超过阈值”或“ALM-14022 NameNode RPC队列平均时间超过阈值”告警。

    • 是,执行8
    • 否,执行10

  2. 按照“ALM-14021 NameNode RPC处理平均时间超过阈值”和“ALM-14022 NameNode RPC队列平均时间超过阈值”的处理方法,依次对这些服务异常的NameService进行处理,然后查看是否消除各个NameService服务异常告警。

    • 是,执行9
    • 否,执行13

  1. 在“运维 > 告警 > 告警”页签,查看该告警是否恢复。

    • 是,处理完毕。
    • 否,执行10

检查是否HDFS FullGC导致健康检查失败。

  1. 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”页面,查看是否有“ALM-14014 NameNode进程垃圾回收(GC)时间超过阈值”告警。

    • 是,执行11
    • 否,执行13

  2. 按照“ALM-14014 NameNode进程垃圾回收(GC)时间超过阈值”的处理方法,依次对这些服务异常的NameService进行处理,然后查看是否消除各个NameService服务异常告警。

    • 是,执行12
    • 否,执行13

  1. 在“运维 > 告警 > 告警”页签,查看该告警是否恢复。

    • 是,处理完毕。
    • 否,执行13

收集故障信息。

  1. 在FusionInsight Manager首页,单击“运维 > 日志 > 下载”。
  2. 在“服务”中勾选待操作集群的如下节点信息。

    • ZooKeeper
    • HDFS

  3. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
  4. 请联系运维人员,并发送已收集的故障日志信息。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

无。