ALM-50209 Doris生成元数据镜像文件失败的次数超过阈值

告警解释

系统每30秒周期性检查FE节点生成元数据镜像文件失败的次数，当检查到失败的次数超出阈值（默认值为1）时产生该告警。

当系统检查到FE节点生成元数据镜像文件失败的次数低于阈值时，告警清除。

告警属性

告警参数

对系统的影响

非Master角色的FE节点不能接收到最新的元数据镜像文件，系统可靠性降低。

可能原因

Doris FE的checkpoint线程检测到FE堆内存使用超过75%（MRS 3.5.0-LTS及之后版本为70%）后，判定此次写镜像文件失败。

处理步骤

检查FE节点堆内存使用率。

1. 登录Manager，选择“运维 > 告警 > 告警”，查看“告警ID”为“50209”的“定位信息”中的角色名并确定实例的IP地址。

   登录集群Manager具体操作，请参考访问MRS集群Manager。

2. 选择“集群 > 服务 > Doris > 实例”，单击告警上报的FE，进入实例“图表”页面。

   左侧图表分类选择“CPU和内存”，查看“FE节点堆内存的使用率”是否超过75%（MRS 3.5.0-LTS及之后版本为70%）。

   • 是，执行步骤 3。
   • 否，执行步骤 6。

3. 选择“集群 > 服务 > Doris > 配置”，在搜索框中搜索“FE_GC_OPTS”参数，将该参数中“-Xmx”的值参考以下说明进行调大，默认值为8G：
   • 如果该告警偶然发生，参数值按照0.5倍速率调大。如果该告警频繁发生，参数值按照1倍速率调大。
   • 多业务量、高并发的情况可以考虑扩容FE实例。

4. 单击“保存”保存配置。单击“实例”，勾选配置过期的FE实例，选择“更多 > 重启实例”。
   

   在FE实例重启期间，运行在对应FE节点上的任务会失败，未进行重启的FE节点上的任务不受影响。

5. 实例重启成功后，观察该告警是否清除。
   • 是，处理完毕。
   • 否，执行步骤 6。

收集故障信息。

6. 在Manager界面，选择“运维>日志>下载”。
7. 在“服务”中勾选“Doris”，单击“确定”。
8. 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
9. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，需要手动清除该告警。

参考信息

不涉及。