ALM-14031 DataNode进程状态异常

告警解释

DataNode每20秒周期性检查进程状态，当进程状态异常，且长时间未转换为正常状态时触发该告警。

进程状态正常后告警清除。

告警属性

告警参数

对系统的影响

进程状态异常会导致该进程无法提供正常服务，进而可能导致服务整体异常。

可能原因

主机中正在等待的IO（磁盘IO、网络IO等）在较长时间内未得到响应，进程处于D状态和Z状态。或进程可能被挂起进入T状态。

处理步骤

查看进程是否处于D、Z、T状态

1. 登录FusionInsight Manager页面，选择“运维 > 告警 > 告警”，等待约10分钟后，在告警列表中查看该告警是否自动清除。
   • 是，处理完毕。
   • 否，查看该告警详细信息，记录上报告警的主机IP地址。执行2。

2. 以root用户登录产生告警的主机，执行su - omm，切换到omm用户。
3. 执行如下命令查看进程状态。

   ps ww -eo stat,cmd| grep -w org.apache.hadoop.hdfs.server.datanode.DataNode | grep -v grep | awk '{print$1}'

4. 查看命令执行结果中是否包含D、Z、T中的任意一种。
   • 是，执行5。
   • 否，执行7。

5. 切换到root用户，执行reboot命令，重启产生告警主机（重启主机有风险，请确保重启后业务进程正常）。
6. 等待5分钟，检查该告警是否恢复。
   • 是，处理完毕。
   • 否，执行7。

收集故障信息。

7. 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。
8. 在“服务”中勾选待操作集群的“HDFS”。
9. 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
10. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。