ALM-12007 进程故障

告警解释

进程健康检查模块按5秒周期检测进程状态。当进程健康检查模块连续三次检测到进程连接状态为故障时，产生该告警。

当进程连接正常时，告警恢复。

告警属性

告警参数

对系统的影响

根据告警的定位信息查看是哪个实例进程故障，不同的实例故障会产生不同的影响。

例如HDFS下的实例故障时会分别产生如下影响：

• DataNode：如果一个DataNode实例故障，客户端的读写操作将无法访问该DataNode上存储的数据块，可能导致数据的损失或不可用。但HDFS中的数据是冗余的，因此客户端可以从其它DataNode访问数据。
• HttpFS：如果HttpFS实例故障，客户端将无法通过HTTP方式访问HDFS中的文件。但是客户端可以使用其它途径（如shell命令）来访问HDFS上的文件。
• JournalNode：如果一个JournalNode实例故障，命名空间和数据日志将无法持久化到磁盘，可能导致数据的损失或不可用。但HDFS会在其它JournalNode上保存备份，因此可以将故障的JournalNode恢复并重新平衡。
• NameNode：如果NameNode部署方式为主备模式，则会导致产生NameNode主备倒换。单NameNode情况下，客户端将无法读取或写入任何数据到 HDFS，当前MRS部署HDFS时要求NameNode部署双机模式，不存在单实例场景。
• Router：如果一个Router实例故障，客户端将无法访问该Router上的数据。但客户端可以使用其它Router或者直接访问后端NameNode上的数据，来解决此问题。
• ZKFC：如果一个ZKFC实例故障，NameNode将不会持续且自动地故障转移，这将导致客户端无法读取或写入任何数据到HDFS。因此，需要在其它可用的ZKFC上启用自动故障转移，以便恢复整个HDFS集群的正常工作。

可能原因

• 实例进程异常。
• 磁盘空间不足。

如果同一时间段，存在大量的进程故障告警，则可能存在安装目录文件被误删除或者权限被修改。

处理步骤

检查实例进程是否异常。

1. 打开FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，查看并记录定位信息中的服务名称。单击主机名查看该告警的主机IP地址。
2. 在“告警”页面，查看是否有“ALM-12006 NodeAgent进程异常”告警产生。
   • 是，执行3。
   • 否，执行4。

3. 按“ALM-12006 NodeAgent进程异常”提供的步骤处理该告警。
4. 以root用户登录该告警的主机地址。查看告警角色所在安装目录用户、用户组、权限等是否正常。正常用户、用户组、权限为“omm：ficommon 750”。

   例如：NameNode的安装目录为“${BIGDATA_HOME}/FusionInsight_Current/1_8_NameNode/etc”。

   • 是，执行6。
   • 否，执行5。

5. 执行如下命令将文件夹权限修改为“750”，并将“用户:属组”修改为“omm:ficommon”。

   chmod 750 <folder_name>

   chown omm:ficommon <folder_name>

6. 等待5分钟，查看告警列表中，“ALM-12007 进程故障”告警是否已清除。
   • 是，处理完毕。
   • 否，执行7。

7. 以root用户登录主OMS节点，执行以下命令查看configurations.xml文件。其中“服务名”为1查询到的服务名称。

   vi $BIGDATA_HOME/components/current/服务名/configurations.xml

   查询“healthMonitor.properties”关键字，找到该告警上报实例对应的健康检查配置项，记录“monitor.info”参数配置的接口或者脚本路径，如下图所示。

   查看接口或者脚本中打印的日志，并修复对应问题。

   

8. 等待5分钟，查看告警列表中，该告警是否已清除。
   • 是，处理完毕。
   • 否，执行9。

检查磁盘空间是否不足。

9. 在FusionInsight Manager的告警列表中，查看是否有“ALM-12017 磁盘容量不足”告警产生。
   • 是，执行10。
   • 否，执行13。

10. 按“ALM-12017 磁盘容量不足”提供的步骤处理该故障。
11. 等待5分钟，查看告警列表中，“ALM-12017 磁盘容量不足”告警是否已清除。
    • 是，执行12。
    • 否，执行13。

12. 等待5分钟，查看告警列表中，该告警是否已清除。
    • 是，处理完毕。
    • 否，执行13。

收集故障信息。

13. 在FusionInsight Manager界面，选择“运维>日志>下载”。
14. 根据在1获取的服务名称，在“服务”中勾选对应的组件及“NodeAgent”，单击“确定”。
15. 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
16. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。