文档首页/ MapReduce服务 MRS/ 用户指南/ MRS集群运维/ MRS集群告警处理参考/ ALM-50214 FE中处理任务的线程池中正在排队的任务数超过阈值
更新时间:2024-09-04 GMT+08:00

ALM-50214 FE中处理任务的线程池中正在排队的任务数超过阈值

告警解释

系统每30秒周期性检查FE中处理任务的线程池中正在排队的任务数,当检查到该值超出阈值(默认值为10)时产生该告警。该线程池为NIO MySQL Server用于处理任务的线程池。

当FE中处理任务的线程池中正在排队的任务数低于阈值时,告警清除。

告警属性

告警ID

告警级别

是否可自动清除

50214

次要

告警参数

参数名称

参数含义

来源

产生告警的集群或系统名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名。

Trigger Condition

系统当前指标取值满足自定义的告警设置条件。

对系统的影响

导致整个系统任务执行变慢阻塞。

可能原因

可能存在较大的任务阻塞了队列执行时长。

处理步骤

查看FE任务执行情况。

  1. 在FusionInsight Manager界面,选择“集群 > 服务 > Doris”,在左侧图表分类中单击“连接”,查看“FE的MySQL端口连接数”监控图表,如果连接数较大;选择“实例 > FE > 图表”,在左侧图表分类中单击“CPU和内存”,查看“FE的CPU使用率”监控图表,如果CPU使用率较高;查看FE审计日志“/var/log/Bigdata/audit/doris/fe/fe.audit.log”的Time字段,统计任务平均时长,如果该值也较高,说明此告警是由于大任务并发导致的。
  2. 连接Doris后执行以下命令,查看系统默认的queryTimeout时长是否过大,默认值为300秒:

    show variables like 'query_timeout';

    • 是,3
    • 否,4

  3. 执行以下命令根据实际情况适当缩短超时时间,拦截时长较长任务:

    set global query_timeout=xxx;

  4. 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Doris > 队列 > 当前查询执行线程池等待队列的长度 (BE)”。
  5. 单击“平滑次数”后的编辑按钮,根据实际使用情况,修改平滑次数配置项,单击“确定”。
  6. 单击“操作”列的“修改”,根据实际使用情况,更改告警阈值,单击“确定”。
  7. 等待十分钟,查看告警是否清除。

    • 是,处理完毕。
    • 否,执行8

收集故障信息。

  1. 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
  2. 在“服务”框中勾选待操作集群的“Doris”。
  3. 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。
  4. 请联系运维人员,并发送已收集的故障日志信息。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

不涉及。