ALM-12061 进程使用率超过阈值

告警解释

系统每30秒周期性检测omm进程使用情况，执行ps -o nlwp,pid,args, -u omm | awk '{sum+=$1} END {print "", sum}'命令，获取当前omm用户并发的所有进程数，在omm用户下，执行ulimit -u，获取omm用户可以同时打开的进程最大数。

结果相除，获取到对应的omm用户进程使用率。进程使用率默认提供一个阈值范围。当检测到进程使用率超出阈值范围时产生该告警。

平滑次数为3，进程使用率小于或等于阈值时，告警恢复；如果当前平滑次数大于1，进程使用率小于或等于阈值的90%时，告警恢复。

告警属性

告警参数

对系统的影响

业务失败：进程使用率超过阈值时，无法切换到omm用户。无法创建新的omm线程，可能会导致作业运行失败。

可能原因

• 告警阈值配置不合理。
• omm用户可以同时打开的进程（包括线程）的最大个数配置不合理。
• 同时打开的进程过多。

处理步骤

检查告警阈值配置或者平滑次数配置是否合理。

1. 在FusionInsight Manager界面，基于实际CPU使用情况，修改告警阈值和平滑次数配置项。

   根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 进程 > omm 进程使用率”中更改告警的平滑次数，如图1所示。

   

   该选项的含义为告警检查阶段，“平滑次数”为连续检查多少次超过阈值，则发送告警。

   图1 设置告警平滑次数
   

   根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 进程 > omm 进程使用率”中修改对应规则的阈值，如图2所示。

   图2 设置告警阈值
   

2. 等待2分钟，查看告警是否自动恢复。
   • 是，处理完毕。
   • 否，执行3。

检查系统omm用户同时打开的进程（包括线程）最大数的配置是否合理。

3. 打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的下拉框，查看该告警的主机地址
4. 以root用户登录告警所在主机，用户密码为安装前用户自定义，请咨询系统管理员。
5. 执行命令su - omm，切换到omm用户。
6. 执行命令ulimit -u，获取到当前配置的omm用户同时打开的线程最大数的配置值，查看该值是否大于等于60000。
   • 是，执行8。
   • 否，执行7。

7. 执行命令ulimit -u 60000，将omm用户的该配置修改为60000，等待2分钟，查看告警是否消失。
   • 是，处理完毕。
   • 否，执行12。

检查是否同时打开的进程过多。

8. 打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的下拉框，查看该告警的主机地址。
9. 以root用户登录告警所在主机。
10. 执行命令ps -o nlwp,pid,lwp,args, -u omm|sort -n，查看系统当前使用的线程数量。

    命令回显结果基于线程数排序，分析线程数最大的top5线程，结合业务分析是否异常使用。（其中“PID”列为对应进程ID）

    • 是，在不影响业务的情况下，参考以下操作终止top5中异常使用进程的父进程。执行11。
      1. 执行以下命令查询对应进程的父进程。

         ps -ef | grep "进程ID"

         查询出的第三列即为父进程ID。

      2. 执行以下命令终止父进程。

         kill -9 父进程ID

    • 否，如果所有线程均正常使用，则需要执行ulimit -u命令，将该值调整到大于60000。

11. 等待5分钟，检查该告警是否恢复。
    • 是，处理完毕。
    • 否，执行12。

收集故障信息。

12. 在集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
13. 在“服务”中勾选“OmmServer”和“NodeAgent”，单击“确定”。
14. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
15. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

无。