ALM-12007 进程故障

告警解释

进程健康检查模块按5秒周期检测进程状态。当进程健康检查模块连续三次检测到进程连接状态为故障时，产生该告警。

当进程连接正常时，告警恢复。

告警属性

告警ID	告警级别	是否自动清除
12007	重要	是

告警参数

参数名称	参数含义
来源	产生告警的集群或系统名称。
服务名	产生告警的服务名称。
角色名	产生告警的角色名称。
主机名	产生告警的主机名。

对系统的影响

根据告警的定位信息查看是哪个实例进程故障，不同的实例故障会产生不同的影响。

例如HDFS下的实例故障时会分别产生如下影响：

DataNode：如果一个DataNode实例故障，客户端的读写操作将无法访问该DataNode上存储的数据块，可能导致数据的损失或不可用。但HDFS中的数据是冗余的，因此客户端可以从其他DataNode访问数据。
HttpFS：如果HttpFS实例故障，客户端将无法通过HTTP方式访问HDFS中的文件。但是客户端可以使用其他途径（如shell命令）来访问HDFS上的文件。
JournalNode：如果一个JournalNode实例故障，命名空间和数据日志将无法持久化到磁盘，可能导致数据的损失或不可用。但HDFS会在其他JournalNode上保存备份，因此可以将故障的JournalNode恢复并重新平衡。
NameNode：如果NameNode部署方式为主备模式，则会导致产生NameNode主备倒换。单NameNode情况下，客户端将无法读取或写入任何数据到 HDFS，当前MRS部署HDFS时要求NameNode部署双机模式，不存在单实例场景。
Router：如果一个Router实例故障，客户端将无法访问该Router上的数据。但客户端可以使用其他Router或者直接访问后端NameNode上的数据，来解决此问题。
ZKFC：如果一个ZKFC实例故障，NameNode将不会持续且自动地故障转移，这将导致客户端无法读取或写入任何数据到HDFS。因此，需要在其他可用的ZKFC上启用自动故障转移，以便恢复整个HDFS集群的正常工作。

可能原因

实例进程异常。
磁盘空间不足。

如果同一时间段，存在大量的进程故障告警，则可能存在安装目录文件被误删除或者权限被修改的问题。

处理步骤

检查实例进程是否异常。

打开FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，单击主机名查看该告警的主机业务IP与服务名称。
在“告警”页面，查看是否有“ALM-12006 节点故障”告警产生。
- 是，执行3。
- 否，执行4。
按“ALM-12006 节点故障”提供的步骤处理该告警。
以root用户登录该告警的主机地址。查看告警角色所在安装目录用户、用户组、权限等是否正常。正常用户和用户组的权限为“omm：ficommon 750”。

例如：NameNode的安装目录为“${BIGDATA_HOME}/FusionInsight_Current/1_8_NameNode/etc”。
- 是，执行6。
- 否，执行5。
执行如下命令将文件夹权限修改为“750”，并将“用户:属组”修改为“omm:ficommon”。

chmod 750 <folder_name>

chown omm:ficommon <folder_name>
等待5分钟，查看告警列表中，“ALM-12007 进程故障”告警是否已清除。
- 是，处理完毕。
- 否，执行7。
以root用户登录主OMS节点，执行以下命令查看configurations.xml文件。其中“服务名”为1查询到的服务名称。

vi $BIGDATA_HOME/components/current/服务名/configurations.xml

查询“healthMonitor.properties”关键字，找到该告警上报实例对应的健康检查配置项，记录“monitor.info”参数配置的接口或者脚本路径，如下图所示。

查看接口或者脚本中打印的日志，并修复对应问题。
等待5分钟，查看告警列表中，该告警是否已清除。
- 是，处理完毕。
- 否，执行9。