Flink支持Source和Sink算子数据统计指标

使用场景

在Flink作业运行过程中，用户需要了解Source算子（数据源）和Sink算子（数据输出）的数据收发情况，以判断作业是否存在数据积压或吞吐不足等问题。Flink提供了监控指标（Metrics）来帮助分析作业，该特性新增Source、Sink算子统计指标到Metrics系统中，默认开启，无需配置。便于直接观察Source、Sink算子的数据收发情况，可在Flink的原生Web UI界面查看。

约束与限制

本章节适用于MRS 3.6.0-LTS.1及之后的版本。

配置步骤

1. 登录Manager页面，选择“集群 > 服务 > Flink”，在“Flink WebUI”右侧，单击链接，访问Flink的WebUI。

   登录集群Manager具体操作，请参考访问MRS集群Manager。

2. 单击“作业管理”进入作业管理页面。
3. 作业成功运行后，单击对应作业“操作”列的“作业详情”进入Flink的原生Web UI界面。
4. 在“Running Jobs”界面，单击任务名称，查看Source、Sink算子数据统计指标，如：
   • “0.Source__datagen[1].source.numRecordsIn/numRecordsInPerSecond/numRecordsOut/numRecordsOutPerSecond”用于统计Source算子已接收/发送的记录总数和速度（条/秒）。
   • “0.Sink__fs_table[3].sink.numRecordsIn/numRecordsInPerSecond/numRecordsOut/numRecordsOutPerSecond”用于统计Sink算子已接收/发送的记录总数和速度（条/秒）。