ALM-12210 主机信号量集使用率超过阈值

告警解释

系统每30秒周期性检测主机信号量集使用率，当检测到信号量集使用率超过阈值时产生该告警。

主机信号量集使用率 = 当前系统信号量集使用量 / 系统允许创建最大信号量集。默认阈值配置为连续3次检测到主机信号量集使用率大于80%时上报告警，可通过“运维 > 告警 > 阈值设置 > 主机 > 主机状态 > 主机信号量集使用率”修改阈值。

当主机信号量集使用率小于或等于阈值时，告警恢复。

该告警仅适用于MRS 3.6.0及之后版本。

告警属性

告警参数

对系统的影响

主机信号量集使用率超出阈值，表明系统中存在资源泄露或者IPC使用不当，会影响OMS主要进程的使用，可能导致任务执行变慢，甚至服务异常重启，误报其它告警。

可能原因

该节点应用程序在完成操作后没有正确释放信号量。

处理步骤

检查节点应用程序是否异常。

1. 在FusionInsight Manager界面，选择“运维 > 告警 > 告警”，在告警列表中展开此告警的详细信息，记录定位信息中的主机名，单击上报的主机名，获取主机的业务IP地址。
2. 选择“图表 > 主机状态”，查看监控图表中“主机信号量集使用率”，查看该监控值是否大于80%（默认）。
   • 是，执行步骤 3。
   • 否，执行步骤 5。

3. 使用root用户登录步骤 1获取的告警节点IP地址，执行以下命令查看是否返回包含使用信号量的进程。

   ipcs -s -p

   • 是，记录使用信号量进程的PID，执行步骤 4。
   • 否，执行步骤 5。

4. 执行以下命令查看进程详细信息。

   ps aux | grep <pid>

   分析进程日志，查看进程日志是否存在明显报错。

   • 是，重启该进程，执行步骤 5。
     • 例如，异常进程为httpd，可以执行su- omm命令切换到omm用户后，执行以下命令重启进程。

       sh ${BIGDATA_HOME}/om-server/Apache-httpd-*/setup/restarthttpd.sh

     • 例如，异常进程为Manager web，可以执行su- omm命令切换到omm用户后，执行以下命令重启进程。

       sh ${BIGDATA_HOME}/om-server/tomcat/bin/shutdown.sh;sh ${BIGDATA_HOME}/om-server/tomcat/bin/startup.sh

   • 否，执行步骤 6。

5. 等待5分钟，观察界面告警是否清除。
   • 是，处理完毕。
   • 否，执行步骤 6。

收集故障信息

6. 在FusionInsight Manager页面，选择“运维 > 日志 > 下载”。
7. 在“服务”中勾选待操作集群的“OMS”。主机选择告警定位信息中的主机名称。
8. 单击右上角的编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
9. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。