ALM-12007 进程故障

告警解释

进程健康检查模块按5秒周期检测进程状态。当进程健康检查模块连续三次检测到进程连接状态为故障时，产生该告警。

当进程连接正常时，告警恢复。

告警属性

告警ID	告警级别	是否自动清除
12007	重要	是

告警参数

参数名称	参数含义
来源	产生告警的集群或系统名称。
服务名	产生告警的服务名称。
角色名	产生告警的角色名称。
主机名	产生告警的主机名。

对系统的影响

根据告警的定位信息查看是哪个实例进程故障，不同的实例故障会产生不同的影响。

例如HDFS下的实例故障时会分别产生如下影响：

DataNode：如果一个DataNode实例故障，客户端的读写操作将无法访问该DataNode上存储的数据块，可能导致数据的损失或不可用。但HDFS中的数据是冗余的，因此客户端可以从其他DataNode访问数据。
HttpFS：如果HttpFS实例故障，客户端将无法通过HTTP方式访问HDFS中的文件。但是客户端可以使用其他途径（如shell命令）来访问HDFS上的文件。
JournalNode：如果一个JournalNode实例故障，命名空间和数据日志将无法持久化到磁盘，可能导致数据的损失或不可用。但HDFS会在其他JournalNode上保存备份，因此可以将故障的JournalNode恢复并重新平衡。
NameNode：如果NameNode部署方式为主备模式，则会导致产生NameNode主备倒换。单NameNode情况下，客户端将无法读取或写入任何数据到 HDFS，当前MRS部署HDFS时要求NameNode部署双机模式，不存在单实例场景。
Router：如果一个Router实例故障，客户端将无法访问该Router上的数据。但客户端可以使用其他Router或者直接访问后端NameNode上的数据，来解决此问题。
ZKFC：如果一个ZKFC实例故障，NameNode将不会持续且自动地故障转移，这将导致客户端无法读取或写入任何数据到HDFS。因此，需要在其他可用的ZKFC上启用自动故障转移，以便恢复整个HDFS集群的正常工作。

可能原因

实例进程异常。
磁盘空间不足。

如果同一时间段，存在大量的进程故障告警，则可能存在安装目录文件被误删除或者权限被修改的问题。

处理步骤

检查实例进程是否异常。

打开FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，单击主机名查看该告警的主机业务IP与服务名称。
在“告警”页面，查看是否有“ALM-12006 节点故障”告警产生。
- 是，执行步骤 3。
- 否，执行步骤 4。
按“ALM-12006 节点故障”提供的步骤处理该告警。
以root用户登录该告警的主机地址。查看告警角色所在安装目录用户、用户组、权限等是否正常。正常用户和用户组的权限为“omm：ficommon 750”。

例如：NameNode的安装目录为“${BIGDATA_HOME}/FusionInsight_Current/1_8_NameNode/etc”。
- 是，执行步骤 6。
- 否，执行步骤 5。
执行如下命令将文件夹权限修改为“750”，并将“用户:属组”修改为“omm:ficommon”。

chmod 750 <folder_name>

chown omm:ficommon <folder_name>
等待5分钟，查看告警列表中，“ALM-12007 进程故障”告警是否已清除。
- 是，处理完毕。
- 否，执行步骤 7。
以root用户登录主OMS节点，执行以下命令查看configurations.xml文件。其中“服务名”为步骤 1查询到的服务名称。

vi $BIGDATA_HOME/components/current/服务名/configurations.xml

查询“healthMonitor.properties”关键字，找到该告警上报实例对应的健康检查配置项，记录“monitor.info”参数配置的接口或者脚本路径，如下图所示。

查看接口或者脚本中打印的日志，并修复对应问题。
等待5分钟，查看告警列表中，该告警是否已清除。
- 是，处理完毕。
- 否，执行步骤 9。
检查故障节点上的磁盘挂载是否正常。
1. 以root用户登录该告警上报的节点，执行以下命令，查看返回结果中是否有“TYPE”为“part”且“MOUNTPOINT”为空的磁盘。
  lsblk
  - 是，说明该盘没有挂载成功，执行9.b。
  - 否，磁盘挂载成功，执行步骤 11。
  例如执行结果如下，表示vdb1盘没有挂载成功。
2. 对未挂载成功的盘进行初始化并挂载数据盘，详细操作请参考扩容云硬盘分区和文件系统。
3. 以root用户登录该告警上报的节点，执行以下命令查看并记录新挂载磁盘的“UUID”取值。
  blkid
4. 执行以下命令，检查是否有新挂载磁盘的UUID。
  vi /etc/fstab
  - 是，执行9.f。
  - 否，执行9.e。
  例如执行后结果如下：
5. 在“/etc/fstab”文件中手动添加新挂载磁盘的信息。新挂载磁盘的信息可以参考以下几种方法获取：
  - 在告警上报的节点中，执行以下命令查看历史快照文件判断掉盘的挂载信息。
    cat /usr/local/diskmgt/ini/fstab.xxx
  - 参考当前集群其他正常节点“/etc/fstab”文件中的挂载情况判断。
  - 联系运维人员进行确认。
6. 重启告警节点上故障的实例。
  登录Manager，选择“主机”，单击告警上报的主机名称，在“概览”页签的“实例”区域单击故障状态的实例，在打开的实例页面中选择“更多 > 重启实例”，参考该操作依次重启告警节点上所有故障的实例。
等待5分钟，查看告警列表中，该告警是否已清除。
- 是，处理完毕。
- 否，执行步骤 11。

检查磁盘空间是否不足。

在FusionInsight Manager的告警列表中，查看是否有“ALM-12017 磁盘容量不足”告警产生。
- 是，执行步骤 12。
- 否，执行步骤 15。
按“ALM-12017 磁盘容量不足”提供的步骤处理该故障。
等待5分钟，查看告警列表中，“ALM-12017 磁盘容量不足”告警是否已清除。
- 是，执行步骤 14。
- 否，执行步骤 15。
等待5分钟，查看告警列表中，该告警是否已清除。
- 是，处理完毕。
- 否，执行步骤 15。