ALM-14000 HDFS服务不可用

告警解释

系统每60秒周期性检测NameService的服务状态，当检测到所有的NameService服务都异常时，就会认为HDFS服务不可用，此时产生该告警。

至少一个NameService服务正常后，系统认为HDFS服务恢复，告警清除。

告警属性

告警参数

对系统的影响

无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。

可能原因

• ZooKeeper服务异常。
• 所有NameService服务异常。
• 业务请求量过大，HDFS健康检查读写文件异常。
• HDFS FullGC导致健康检查失败。

处理步骤

检查ZooKeeper服务状态。

1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”页面，查看系统是否上报“ALM-13000 ZooKeeper服务不可用”告警。
   • 是，执行2。
   • 否，执行4。

2. 参考“ALM-13000 ZooKeeper服务不可用”对ZooKeeper服务状态异常进行处理，然后查看ZooKeeper服务的运行状态是否恢复为“良好”。
   • 是，执行3。
   • 否，执行13。

3. 在“运维 > 告警 > 告警”页面，查看本告警是否恢复。
   • 是，处理完毕。
   • 否，执行4。

处理NameService服务异常告警。

4. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”页面，查看是否有“ALM-14010 NameService服务异常”告警。
   • 是，执行5。
   • 否，执行7。

5. 按照“ALM-14010 NameService服务异常”的处理方法，依次对这些服务异常的NameService进行处理，然后查看是否消除各个NameService服务异常告警。
   • 是，执行6。
   • 否，执行13。

6. 在“运维 > 告警 > 告警”页签，查看该告警是否恢复。
   • 是，处理完毕。
   • 否，执行7。

检查是否处理业务请求量过大，导致HDFS健康检查读写文件异常。

7. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”页面，查看是否有“ALM-14021 NameNode RPC处理平均时间超过阈值”或“ALM-14022 NameNode RPC队列平均时间超过阈值”告警。
   • 是，执行8。
   • 否，执行10。

8. 按照“ALM-14021 NameNode RPC处理平均时间超过阈值”和“ALM-14022 NameNode RPC队列平均时间超过阈值”的处理方法，依次对这些服务异常的NameService进行处理，然后查看是否消除各个NameService服务异常告警。
   • 是，执行9。
   • 否，执行13。

9. 在“运维 > 告警 > 告警”页签，查看该告警是否恢复。
   • 是，处理完毕。
   • 否，执行10。

检查是否HDFS FullGC导致健康检查失败。

10. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”页面，查看是否有“ALM-14014 NameNode进程垃圾回收（GC）时间超过阈值”告警。
    • 是，执行11。
    • 否，执行13。

11. 按照“ALM-14014 NameNode进程垃圾回收（GC）时间超过阈值”的处理方法，依次对这些服务异常的NameService进行处理，然后查看是否消除各个NameService服务异常告警。
    • 是，执行12。
    • 否，执行13。

12. 在“运维 > 告警 > 告警”页签，查看该告警是否恢复。
    • 是，处理完毕。
    • 否，执行13。

收集故障信息。

13. 在FusionInsight Manager首页，单击“运维 > 日志 > 下载”。
14. 在“服务”中勾选待操作集群的如下节点信息。
    • ZooKeeper
    • HDFS

15. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
16. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。