文档首页/ MapReduce服务 MRS/ 用户指南/ MRS集群运维/ MRS集群告警处理参考/ ALM-12186 用户CGroup任务数使用率超过阈值
更新时间:2024-09-04 GMT+08:00

ALM-12186 用户CGroup任务数使用率超过阈值

告警解释

系统每5分钟周期性检测omm用户CGroup任务数使用情况,当CGroup任务使用率超过90%时产生该告警,当使用率小于或等于90%时,告警恢复。

CGroup任务使用率 = CGroup任务使用数 / 最大CGroup任务数。

可以在omm用户下,执行systemctl status user-$(id -u).slice | grep limit | awk -F ' ' '{print $2}'命令,获取当前omm用户CGroup任务使用数;执行echo $(systemctl status user-$(id -u).slice | grep limit | awk -F ' ' '{print $4}') | sed -e 's/)//g'获取omm用户最大CGroup任务数。

告警属性

告警ID

告警级别

是否可自动清除

12186

重要

告警参数

参数名称

参数含义

来源

产生告警的集群或系统名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名。

对系统的影响

  • 无法切换到omm用户。
  • 无法创建新的omm进程。
  • 服务或进程故障之后无法重启。

可能原因

用户CGroup任务数使用率过高,超过阈值90%。

处理步骤

检查omm用户同时打开的线程最大数的配置是否合理。

  1. 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,在定位信息中查看发生该告警的主机名称。单击主机名称,查看对应的IP地址。
  2. omm用户登录告警所在主机IP节点。
  3. 执行以下命令,获取到当前配置的omm用户同时打开的线程最大数的配置值,并确认该值是否大于等于60000。

    systemctl status user-$(id -u).slice | grep limit

    • 是,执行6
    • 否,执行4

  4. 切换为root用户执行以下命令,将omm用户的该配置修改为60000。

    systemctl set-property user-2000.slice TasksMax=60000

  5. 修改“/etc/systemd/logind.conf”文件中“UserTasksMax”参数值为“60000”(如果该参数为注释项,请取消注释)。保存文件并等待5分钟后,查看告警是否清除。

    • 是,处理完毕。
    • 否,执行6

收集故障信息。

  1. 在集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
  2. 在“服务”中勾选“OmmServer”和“NodeAgent”,单击“确定”。
  3. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
  4. 请联系运维人员,并发送已收集的故障日志信息。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

不涉及。