更新时间:2024-11-29 GMT+08:00

ALM-14033 ZKFC进程状态异常

告警解释

ZKFC每20秒周期性检查进程状态,当进程状态异常,且长时间未转换为正常状态时触发该告警。

进程状态正常后告警清除。

告警属性

告警ID

告警级别

告警类型

业务类型

是否可自动清除

14033

重要

业务质量告警

HDFS

告警参数

类别

参数名称

参数含义

定位信息

来源

产生告警的集群名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名。

附加信息

触发条件

系统当前指标取值满足自定义的告警设置条件。

对系统的影响

进程状态异常会导致该进程无法提供正常服务,进而可能导致服务整体异常。

可能原因

主机中正在等待的IO(磁盘IO、网络IO等)在较长时间内未得到响应,进程处于D状态和Z状态。或进程可能被挂起进入T状态。

处理步骤

查看进程是否处于D、Z、T状态

  1. 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,等待约10分钟后,在告警列表中查看该告警是否自动清除。

    • 是,处理完毕。
    • 否,查看该告警详细信息,记录上报告警的主机IP地址。执行2

  2. root用户登录产生告警的主机,执行su - omm,切换到omm用户。
  3. 执行如下命令查看进程状态是否处于异常状态。

    ps ww -eo stat,cmd| grep -w org.apache.hadoop.hdfs.tools.DFSZKFailoverController | grep -v grep | awk '{print$1}'

  4. 查看命令执行结果中是否包含D、Z、T中的任意一种。

    • 是,执行5
    • 否,执行7

  5. 切换到root用户,执行reboot命令,重启产生告警主机(重启主机有风险,请确保重启后业务进程正常)。
  6. 等待5分钟,检查该告警是否恢复。

    • 是,处理完毕。
    • 否,执行7

收集故障信息。

  1. 在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。
  2. 在“服务”中勾选待操作集群的“HDFS”。
  3. 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
  4. 请联系运维人员,并发送已收集的故障日志信息。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

不涉及。