# ALM-12007 进程故障 #### 告警解释 进程健康检查模块按5秒周期检测进程状态。当进程健康检查模块连续三次检测到进程连接状态为故障时，产生该告警。 当进程连接正常时，告警恢复。 #### 告警属性 | 告警ID | 告警级别 | 是否自动清除 | |:---|:---|:---| | 12007 | 重要 | 是 | #### 告警参数 | 参数名称 | 参数含义 | |:---|:---| | 来源 | 产生告警的集群或系统名称。 | | 服务名 | 产生告警的服务名称。 | | 角色名 | 产生告警的角色名称。 | | 主机名 | 产生告警的主机名。 | #### 对系统的影响 根据告警的定位信息查看是哪个实例进程故障，不同的实例故障会产生不同的影响。 例如HDFS下的实例故障时会分别产生如下影响： - DataNode：如果一个DataNode实例故障，客户端的读写操作将无法访问该DataNode上存储的数据块，可能导致数据的损失或不可用。但HDFS中的数据冗余，因此客户端可以从其他DataNode访问数据。 - HttpFS：如果HttpFS实例故障，客户端将无法通过HTTP方式访问HDFS中的文件。但是客户端可以使用其他途径（如**shell**命令）来访问HDFS上的文件。 - JournalNode：如果一个JournalNode实例故障，命名空间和数据日志将无法持久化到磁盘，可能导致数据的损失或不可用。但HDFS会在其他JournalNode上保存备份，因此可以将故障的JournalNode恢复并重新平衡。 - NameNode：如果NameNode部署方式为主备模式，则会导致产生NameNode主备倒换。单NameNode情况下，客户端将无法读取或写入任何数据到HDFS，当前MRS部署HDFS时要求NameNode部署双机模式，不存在单实例场景。 - Router：如果一个Router实例故障，客户端将无法访问该Router上的数据。但客户端可以使用其他Router或者直接访问后端NameNode上的数据，来解决此问题。 - ZKFC：如果一个ZKFC实例故障，NameNode将不会持续且自动地故障转移，这将导致客户端无法读取或写入任何数据到HDFS。因此，需要在其他可用的ZKFC上启用自动故障转移，以便恢复整个HDFS集群的正常工作。 #### 可能原因 - 实例进程异常。 - 磁盘空间不足。 ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/note_3.0-zh-cn.png) 如果同一时间段，存在大量的进程故障告警，则可能存在安装目录文件被误删除或者权限被修改的问题。 #### 处理步骤 **检查实例进程是否异常。** 1. 打开MRS集群Manager页面，选择"运维 \> 告警 \> 告警"，单击此告警所在行的![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0263895749.png)，单击主机名查看该告警的主机业务IP与服务名称。 登录集群Manager具体操作，请参考[访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.html)。 2. 在"告警"页面，查看是否有"ALM-12006 节点故障"告警产生。 - 是，执行[步骤 3]。 - 否，执行[步骤 5]。 3. 单击12006告警所在行"查看帮助"，并按"ALM-12006 节点故障"提供的步骤处理该告警。 4. 以**root** 用户登录该告警的主机地址，用户密码为安装前用户自定义，请咨询系统管理员。 登录集群内节点具体操作，请参考[登录MRS集群节点](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0083.html)。 5. 查看告警角色所在安装目录用户、用户组、权限等是否正常。正常用户和用户组的权限为"omm:ficommon 750"。 例如上报告警的角色为NameNode，安装目录为"*${BIGDATA_HOME}* /FusionInsight_Current/*1_8_NameNode*/etc"，则执行以下命令查看"etc"目录信息： ``` ll ${BIGDATA_HOME}/FusionInsight_Current/1_8_NameNode ``` 执行后结果如下，表示正常： ``` drwxr-x--- 2 omm ficommon 4096 Jun 5 11:39 etc ``` - 是，执行[步骤 7]。 - 否，执行[步骤 6]。 6. 如果权限异常，执行如下命令将文件夹权限修改为"750"，并将"用户:属组"修改为"omm:ficommon"。 ``` chmod 750 ``` ``` chown omm:ficommon ``` 7. 等待5分钟，查看告警列表中，"ALM-12007 进程故障"告警是否已清除。 - 是，处理完毕。 - 否，执行[步骤 8]。 8. 以**root** 用户登录主OMS节点，执行以下命令查看configurations.xml文件。其中"服务名"为[步骤 1]查询到的服务名称。 ``` vi $BIGDATA_HOME/components/current/服务名/configurations.xml ``` 查询"healthMonitor.properties"关键字，找到该告警上报实例对应的健康检查配置项，记录"monitor.info"参数配置的接口或者脚本路径，如下图所示。 查看接口或者脚本中打印的日志，并修复对应问题。 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001568065284.png "点击放大") 9. 等待5分钟，查看告警列表中，该告警是否已清除。 - 是，处理完毕。 - 否，执行[步骤 10]。 10. 检查故障节点上的磁盘挂载是否正常。 1. 以**root** 用户登录该告警上报的节点，执行以下命令，查看返回结果中是否有"TYPE"为"part"且"MOUNTPOINT"为空的磁盘。 ``` lsblk ``` - 是，说明该盘没有挂载成功，执行[10.b]。 - 否，磁盘挂载成功，执行[步骤 12]。 例如执行结果如下，表示vdb1盘没有挂载成功。 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002416818253.png "点击放大") 2. 对未挂载成功的盘进行初始化并挂载数据盘，详细操作请参考[扩容云硬盘分区和文件系统](https://support.huaweicloud.com/usermanual-evs/evs_01_0109.html)。 3. 以**root** 用户登录该告警上报的节点，执行以下命令查看并记录新挂载磁盘的"UUID"取值。 ``` blkid ``` 4. 执行以下命令，检查是否有新挂载磁盘的UUID。 ``` vi /etc/fstab ``` - 是，执行[10.f]。 - 否，执行[10.e]。 例如执行后结果如下： ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002383227646.png "点击放大") 5. 在"/etc/fstab"文件中手动添加新挂载磁盘的信息。新挂载磁盘的信息可以参考以下几种方法获取： - 在告警上报的节点中，执行以下命令查看历史快照文件判断掉盘的挂载信息。 ``` cat /usr/local/diskmgt/ini/fstab.xxx ``` - 参考当前集群其他正常节点"/etc/fstab"文件中的挂载情况判断。 - 联系运维人员进行确认。 6. 重启告警节点上故障的实例。 登录Manager，选择"主机"，单击告警上报的主机名称，在"概览"页签的"实例"区域单击故障状态的实例，在打开的实例页面中选择"更多 \> 重启实例"，参考该操作依次重启告警节点上所有故障的实例。 11. 等待5分钟，查看告警列表中，该告警是否已清除。 - 是，处理完毕。 - 否，执行[步骤 12]。 **检查磁盘空间是否不足。** 12. 在Manager的告警列表中，查看是否有"ALM-12017 磁盘容量不足"告警产生。 - 是，执行[步骤 13]。 - 否，执行[步骤 16]。 13. 按"ALM-12017 磁盘容量不足"提供的步骤处理该故障。 14. 等待5分钟，查看告警列表中，"ALM-12017 磁盘容量不足"告警是否已清除。 - 是，执行[步骤 15]。 - 否，执行[步骤 16]。 15. 等待5分钟，查看告警列表中，该告警是否已清除。 - 是，处理完毕。 - 否，执行[步骤 16]。 **收集故障信息。** 16. 在Manager界面，选择"运维 \> 日志 \> 下载"。 17. 根据在[步骤 1]获取的服务名称，在"服务"中勾选对应的组件及"NodeAgent"，单击"确定"。 18. 单击右上角的![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0263895607.png)设置日志收集的"开始时间"和"结束时间"分别为告警产生时间的前后10分钟，单击"下载"。 19. 请联系运维人员，并发送已收集的故障日志信息。 #### 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 #### 参考信息 无。