更新时间:2024-11-29 GMT+08:00
ALM-14033 ZKFC进程状态异常
告警解释
ZKFC每20秒周期性检查进程状态,当进程状态异常,且长时间未转换为正常状态时触发该告警。
进程状态正常后告警清除。
告警属性
告警ID |
告警级别 |
告警类型 |
业务类型 |
是否可自动清除 |
---|---|---|---|---|
14033 |
重要 |
业务质量告警 |
HDFS |
是 |
告警参数
类别 |
参数名称 |
参数含义 |
---|---|---|
定位信息 |
来源 |
产生告警的集群名称。 |
服务名 |
产生告警的服务名称。 |
|
角色名 |
产生告警的角色名称。 |
|
主机名 |
产生告警的主机名。 |
|
附加信息 |
触发条件 |
系统当前指标取值满足自定义的告警设置条件。 |
对系统的影响
进程状态异常会导致该进程无法提供正常服务,进而可能导致服务整体异常。
可能原因
主机中正在等待的IO(磁盘IO、网络IO等)在较长时间内未得到响应,进程处于D状态和Z状态。或进程可能被挂起进入T状态。
处理步骤
查看进程是否处于D、Z、T状态
- 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,等待约10分钟后,在告警列表中查看该告警是否自动清除。
- 是,处理完毕。
- 否,查看该告警详细信息,记录上报告警的主机IP地址。执行2。
- 以root用户登录产生告警的主机,执行su - omm,切换到omm用户。
- 执行如下命令查看进程状态是否处于异常状态。
ps ww -eo stat,cmd| grep -w org.apache.hadoop.hdfs.tools.DFSZKFailoverController | grep -v grep | awk '{print$1}'
- 查看命令执行结果中是否包含D、Z、T中的任意一种。
- 切换到root用户,执行reboot命令,重启产生告警主机(重启主机有风险,请确保重启后业务进程正常)。
- 等待5分钟,检查该告警是否恢复。
- 是,处理完毕。
- 否,执行7。
收集故障信息。
告警清除
此告警修复后,系统会自动清除此告警,无需手工清除。
参考信息
不涉及。
父主题: 告警参考