文档首页/ MapReduce服务 MRS/ 用户指南/ MRS集群运维/ MRS集群告警处理参考/ ALM-50211 BE的各种定期汇报任务在FE端的队列长度超过阈值
更新时间:2024-09-04 GMT+08:00

ALM-50211 BE的各种定期汇报任务在FE端的队列长度超过阈值

告警解释

系统每30秒周期性检查BE的各种定期汇报任务在FE端的队列长度,当检查到该值超出阈值(默认值为10)时产生该告警。该值反映了汇报任务在Master FE节点上的阻塞程度,数值越大,表示FE处理能力不足。

当系统检查到BE的各种定期汇报任务在FE端的队列长度低于阈值时,告警清除。

告警属性

告警ID

告警级别

是否可自动清除

50211

次要

告警参数

参数名称

参数含义

来源

产生告警的集群或系统名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名。

Trigger Condition

系统当前指标取值满足自定义的告警设置条件。

对系统的影响

当前FE处理能力不足,影响业务的查询速度。

可能原因

Doris集群并发业务过大,FE进程内存不足等导致Master FE的处理能力不足。

处理步骤

检查GC时间。

  1. 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,查看“告警ID”为“50211”的“定位信息”中的角色名并确定实例的IP地址。
  2. 选择“集群 > 服务 > Doris > 实例”,单击告警上报的FE,进入实例“图表”页面。

    左侧图表分类选择“JVM”,查看FE进程的“老年代GC耗时累计值”是否大于3秒。
    • 是,执行3
    • 否,执行5

  3. 选择“集群 > 服务 > Doris > 配置 > 全部配置 > FE(角色) > JVM”,将参数“FE_GC_OPTS”中“-Xmx”的值参考以下说明进行调大,默认值为8GB:

    • 如果该告警偶然发生,参数值按照0.5倍速率调大;如果该告警频繁发生,参数值按照1倍速率调大。
    • 多业务量、高并发的情况可以考虑扩容实例。

  4. 观察界面告警是否清除。

    • 是,处理完毕。
    • 否,执行5

检查告警阈值配置或者平滑次数配置是否合理。

  1. 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Doris > 队列 > BE的各种定期汇报任务在FE端的队列长度 (FE)”。
  2. 单击“平滑次数”后的编辑按钮,根据实际使用情况,修改平滑次数配置项,单击“确定”。
  3. 单击“操作”列的“修改”,基于实际使用情况,更改告警阈值,单击“确定”。
  4. 等待两分钟,查看告警是否清除。

    • 是,处理完毕。
    • 否,执行9

收集故障信息

  1. 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
  2. 在“服务”中勾选待操作集群的“Doris”。
  3. 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
  4. 请联系运维人员,并发送已收集的故障日志信息。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

不涉及。