更新时间:2026-06-11 GMT+08:00
分享

Flink支持算子延时指标

使用场景

Flink提供了监控指标(Metrics)来帮助分析作业,该特性新增算子延时指标到Metrics系统中。通过在Flink原生Web UI界面查看这些指标,用户可以更准确地监控作业性能,及时发现并解决算子延时问题,从而提高作业的整体效率,指标详情如下所示:

范围

名称

描述

类型

Operator

currentFetchEventTimeLag

算子处理数据前的系统时间与数据事件时间的间隔,反映拉取数据的延时。

Gauge

约束与限制

仅支持使用Event Time的算子。

本章节适用于MRS 3.6.0-LTS.1及之后的版本。

配置步骤

  1. 配置Flink支持算子延时指标参数。

    配置参数为单个FlinkServer作业开启该指标。
    1. 登录Manager页面,选择“集群 > 服务 > Flink”,在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。
    2. 单击“作业管理”进入作业管理页面。
    3. 在指定作业的“操作”列选择“开发”进入作业开发界面。
    4. 在作业开发界面的“自定义参数”配置参数“metrics.fetch-event-time-lag.enable”为“true”,配置完成后单击“保存”,并提交Flink作业。
    配置参数全局开启该指标。
    • 通过FlinkServer提交作业。
      1. 登录Manager页面,选择“集群 > 服务 > Flink > 配置 > 全部配置 > FlinkServer > 自定义”。
      2. 选择“flink.customized.configs”参数,在“名称”中添加“metrics.fetch-event-time-lag.enable”,并设置值为“true”,配置完成后单击“保存”,并重启受影响的FlinkServer实例。
    • 通过客户端提交作业。
      1. 登录Manager页面,选择“集群 > 服务 > Flink > 配置 > 全部配置 > FlinkResource > 自定义”。
      2. 选择“flink.customized.configs”参数,在“名称”中添加“metrics.fetch-event-time-lag.enable”,并设置值为“true”,配置完成后单击“保存”,更新配置到客户端。

  2. 作业成功运行后,单击“操作”列的“作业详情”进入Flink的原生Web UI界面。
  3. 在“Running Jobs”界面,单击任务名称,查看算子延时指标,如:0.fs_table[3]__Writer.currentEventTimeLag。

相关文档