ALM-12028 主机D状态进程数超过阈值

告警解释

系统每30秒周期性检测主机中omm用户D状态进程数，并把实际进程数和阈值相比较。主机D状态进程数默认提供一个阈值范围。当检测到进程数超出阈值范围时产生该告警。

平滑次数为1，主机中omm用户D状态进程总数小于或等于阈值时，告警恢复；平滑次数大于1，主机中omm用户D状态进程总数小于或等于阈值的90%时，告警恢复。

告警属性

告警参数

对系统的影响

• 业务延迟：主机D状态和Z状态进程数过高时，无法创建新的业务进程，可能会导致并发任务处理变慢、业务延迟。
• 业务失败：主机D状态和Z状态进程数过高时，无法创建新的业务进程，可能会导致作业运行失败。

可能原因

主机中正在等待的IO(磁盘IO、网络IO等)在较长时间内未得到响应，进程处于D状态和Z状态。

处理步骤

查看D状态进程。

1. 打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看该告警的主机地址。
2. 以root用户登录产生告警主机，执行su - omm命令，切换到omm用户。
3. 执行如下命令查看omm用户D状态进程号。

   ps -elf | grep -v "\[thread_checkio\]" | awk 'NR!=1 {print $2, $3, $4}' | grep omm | awk -F' ' '{print $1, $3}' | grep -E "Z|D" | awk '{print $2}'

4. 查看结果是否为空。
   • 是，业务进程正常，执行6。
   • 否，执行5。

5. 切换到root用户，执行reboot命令，重启产生告警主机（重启主机有风险，请确保重启后业务进程正常）。
6. 等待5分钟，检查该告警是否恢复。
   • 是，处理完毕。
   • 否，执行7。

收集故障信息。

7. 在FusionInsight Manager界面，选择“运维>日志 > 下载”。
8. 在“服务”中勾选“OMS”，单击“确定”。
9. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。
10. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。