查看监控指标
操作场景
当您启动了实时集成作业后,云监控服务会自动关联实时集成作业的监控指标,帮助您精确掌握作业的各项性能指标和运行情况。

由于监控数据的获取与传输会花费一定时间,因此监控显示的是当前时间5~10分钟前的状态。如果您的实时处理集成作业刚启动完成,请等待5~10分钟后查看监控数据。
前提条件
- 使用实时集成作业监控功能,需获取CES相关权限。
- 监控指标对应的实时集成作业需要正常运行,停止或异常的作业仅支持查看7天内的监控指标。
- 实时集成作业已正常运行一段时间(约10分钟)。
支持的监控指标
实时处理集成作业支持的监控指标如表1所示。
指标ID |
指标名称 |
指标含义 |
取值范围 |
单位 |
进制 |
测量对象(维度) |
监控周期(原始指标) |
---|---|---|---|---|---|---|---|
extract_latency |
源库WAL抽取时延 |
该指标用于统计当前从源库抽取WAL的时延。 |
≥ 0 ms |
ms |
不涉及 |
实时处理集成作业 |
1分钟 |
flink_read_records_per_second |
作业数据输入速率 |
展示用户Flink作业的数据输入速率,供监控和调试使用。 |
≥ 0 record/s |
record/s |
不涉及 |
实时处理集成作业 |
1分钟 |
flink_write_records_per_second |
作业数据输出速率 |
展示用户Flink作业的数据输出速率,供监控和调试使用。 |
≥ 0 record/s |
record/s |
不涉及 |
实时处理集成作业 |
1分钟 |
flink_read_records_total |
作业数据输入总数 |
展示用户Flink作业的数据输入总数,供监控和调试使用。 |
≥ 0 record/s |
record/s |
不涉及 |
实时处理集成作业 |
1分钟 |
flink_write_records_total |
作业数据输出总数 |
展示用户Flink作业的数据输出总数,供监控和调试使用。 |
≥ 0 record/s |
record/s |
不涉及 |
实时处理集成作业 |
1分钟 |
flink_read_bytes_per_second |
作业字节输入速率 |
展示用户Flink作业每秒输入的字节数。 |
≥ 0 Byte/s |
Byte/s |
1024(IEC) |
实时处理集成作业 |
1分钟 |
flink_write_bytes_per_second |
作业字节输出速率 |
展示用户Flink作业每秒输出的字节数。 |
≥ 0 Byte/s |
Byte/s |
1024(IEC) |
实时处理集成作业 |
1分钟 |
flink_read_bytes_total |
作业字节输入总数 |
展示用户Flink作业字节的输入总数。 |
≥ 0 Byte |
Byte |
1024(IEC) |
实时处理集成作业 |
1分钟 |
flink_write_bytes_total |
作业字节输出总数 |
展示用户Flink作业字节的输出总数。 |
≥ 0 Byte |
Byte |
1024(IEC) |
实时处理集成作业 |
1分钟 |
flink_cpu_usage |
作业CPU使用率 |
展示用户Flink作业的CPU使用率。 |
0%~100% |
% |
不涉及 |
实时处理集成作业 |
1分钟 |
flink_mem_usage |
作业内存使用率 |
展示用户Flink作业的内存使用率。 |
0%~100% |
% |
不涉及 |
实时处理集成作业 |
1分钟 |
flink_max_op_latency |
作业最大算子时延 |
展示用户Flink作业的最大算子时延时间。 |
≥ 0 ms |
ms |
不涉及 |
实时处理集成作业 |
1分钟 |
flink_max_op_backpressure_level |
作业最大算子反压 |
展示用户Flink作业的最大算子反压值,数值从0-1,数值越大,反压越严重。 |
0~1 |
- |
不涉及 |
实时处理集成作业 |
1分钟 |
binlog_file_read_per_second |
每秒binlog文件数 |
该指标用于统计每秒binlog读取的文件数。 |
≥ 0 count/s |
count/s |
不涉及 |
实时处理集成作业 |
1分钟 |
binlog_file_read_total |
binlog文件总量 |
该指标用于统计binlog读取的文件总量。 |
≥ 0 count |
count |
不涉及 |
实时处理集成作业 |
1分钟 |
binlog_bytes_per_second |
每秒binlog字节量 |
该指标用于统计每秒binlog读取的字节量。 |
≥ 0 byte/s |
bytes/s |
1024(IEC) |
实时处理集成作业 |
1分钟 |
binlog_bytes_total |
binlog字节总量 |
该指标用于统计binlog读取的字节总量。 |
≥ 0 bytes |
bytes |
1024(IEC) |
实时处理集成作业 |
1分钟 |
insert_sink_num |
插入目的端的总数 |
该指标用于统计插入目的端的总条数。 |
≥ 0 count |
count |
不涉及 |
实时处理集成作业 |
1分钟 |
update_sink_num |
更新目的端的总数 |
该指标用于统计更新目的端的总条数。 |
≥ 0 count |
count |
不涉及 |
实时处理集成作业 |
1分钟 |
delete_sink_num |
删除目的端的总数 |
该指标用于统计删除目的端的总条数。 |
≥ 0 count |
count |
不涉及 |
实时处理集成作业 |
1分钟 |
dirty_records_out |
脏数据条数 |
脏数据条数。 |
≥ 0 count |
records |
不涉及 |
实时处理集成作业 |
1分钟 |
dirty_bytes_out |
脏数据字节数 |
脏数据字节。 |
≥ 0 bytes |
bytes |
1024(IEC) |
实时处理集成作业 |
1分钟 |
unsupport_ddls_num |
不支持的DDL总数 |
不支持的DDL总数。 |
≥ 0 count |
count |
不涉及 |
实时处理集成作业 |
1分钟 |
ignored_ddls_num |
忽略的DDL总数 |
忽略的DDL总数。 |
≥ 0 count |
count |
不涉及 |
实时处理集成作业 |
1分钟 |
job_retry_times |
任务重试次数 |
任务重试次数。 |
≥ 0 count |
count |
不涉及 |
实时处理集成作业 |
1分钟 |
queue_job_launching_num |
提交中作业数 |
该指标用于统计队列的提交中作业数。 |
≥ 0 count |
Count |
不涉及 |
实时处理集成作业 |
6分钟 |
queue_job_running_num |
运行中作业数 |
该指标用于统计队列的运行中作业数。 |
≥ 0 count |
Count |
不涉及 |
实时处理集成作业 |
6分钟 |
queue_job_succeed_num |
已完成作业数 |
该指标用于统计队列的已完成作业数。 |
≥ 0 count |
Count |
不涉及 |
实时处理集成作业 |
6分钟 |
queue_job_failed_num |
已失败作业数 |
该指标用于统计队列的已失败作业数。 |
≥ 0 count |
Count |
不涉及 |
实时处理集成作业 |
6分钟 |
queue_job_cancelled_num |
已取消作业数 |
该指标用于统计队列的已取消作业数。 |
≥ 0 count |
Count |
不涉及 |
实时处理集成作业 |
6分钟 |
elastic_resource_pool_cpu_usage |
资源组CPU使用率 |
该指标用于统计资源组已使用核心数占总核心数的百分比。 |
0% ~ 100% |
% |
不涉及 |
实时处理集成作业 |
6分钟 |
elastic_resource_pool_mem_usage |
资源组内存使用率 |
该指标用于统计资源组已使用内存占申请内存总量的百分比。 |
0% ~ 100% |
% |
不涉及 |
实时处理集成作业 |
6分钟 |
elastic_resource_pool_disk_usage |
资源组磁盘使用率 |
该指标用于统计资源组磁盘已使用磁盘占申请磁盘总量的百分比。 |
0% ~ 100% |
% |
不涉及 |
实时处理集成作业 |
6分钟 |
elastic_resource_pool_disk_max_usage |
资源组磁盘使用率最大值 |
该指标用于统计资源组磁盘使用率最大值。 |
0% ~ 100% |
% |
不涉及 |
实时处理集成作业 |
6分钟 |
elastic_resource_pool_cu_num |
资源组CU使用量 |
该指标用于统计资源组CU使用量。 |
≥ 0 count |
Count |
不涉及 |
实时处理集成作业 |
6分钟 |
elastic_resource_pool_min_cu_num |
资源组最小CU |
该指标用于统计资源组最小CU。 |
≥ 0 count |
Count |
不涉及 |
实时处理集成作业 |
6分钟 |
elastic_resource_pool_max_cu_num |
资源组最大CU |
该指标用于统计资源组最大CU。 |
≥ 0 count |
Count |
不涉及 |
实时处理集成作业 |
6分钟 |
elastic_resource_pool_alloc_cu_num |
资源组CU分配量 |
该指标用于统计资源组分配给每个队列的CU数量之和。 |
≥ 0 count |
Count |
不涉及 |
实时处理集成作业 |
6分钟 |
apply_ddls_number |
DDL总数 |
该指标用于统计向目标库写入的DDL事务总数。 |
≥ 0 count |
Count |
不涉及 |
实时处理集成作业 |
1分钟 |
network_incoming_bytes_rate |
网络输入吞吐量 |
该指标用于统计平均每秒从测量对象的所有网络适配器输入的流量。 |
≥ 0 byte/s |
byte/s |
1024(IEC) |
实时处理集成作业 |
1分钟 |
network_outgoing_bytes_rate |
网络输出吞吐量 |
该指标用于统计平均每秒从测量对象的所有网络适配器输出的流量。 |
≥ 0 byte/s |
byte/s |
1024(IEC) |
实时处理集成作业 |
1分钟 |
disk_read_bytes_rate |
磁盘读吞吐量 |
该指标用于统计每秒从磁盘读取的字节数。 |
≥ 0 byte/s |
byte/s |
1024(IEC) |
实时处理集成作业 |
1分钟 |
disk_write_bytes_rate |
磁盘写吞吐量 |
该指标用于统计每秒从磁盘写入的字节数。 |
≥ 0 byte/s |
byte/s |
1024(IEC) |
实时处理集成作业 |
1分钟 |
disk_util |
磁盘利用率 |
该指标用于统计测量对象的磁盘利用率。 |
0% ~ 100% |
% |
不涉及 |
实时处理集成作业 |
1分钟 |
extract_bytes_rate |
读源库吞吐量 |
该指标用于统计每秒从源库读取表数据或者WAL的字节数。 |
≥ 0 byte/s |
byte/s |
1024(IEC) |
实时处理集成作业 |
1分钟 |
extract_rows_rate |
读源库频率 |
该指标用于统计每秒从源库读取表数据或者WAL的行数。 |
≥ 0 row/s |
row/s |
不涉及 |
实时处理集成作业 |
1分钟 |
apply_bytes_rate |
写目标库吞吐量 |
该指标用于统计每秒向目标库写入数据的字节数。 |
≥ 0 byte/s |
byte/s |
1024(IEC) |
实时处理集成作业 |
1分钟 |
apply_rows_rate |
写目标库频率 |
该指标用于统计每秒向目标库写入数据的行数。 |
≥ 0 row/s |
row/s |
不涉及 |
实时处理集成作业 |
1分钟 |
lag_records |
数据堆积 |
未消费的数据量。 |
≥ 0 records |
records |
不涉及 |
实时处理集成作业 |
1分钟 |
insert_num |
插入次数 |
数据插入次数。 |
≥ 0 count |
Count |
不涉及 |
实时处理集成作业 |
1分钟 |
update_num |
更新次数 |
数据更新次数。 |
≥ 0 count |
Count |
不涉及 |
实时处理集成作业 |
1分钟 |
delete_num |
删除次数 |
数据删除次数。 |
≥ 0 count |
Count |
不涉及 |
实时处理集成作业 |
1分钟 |
apply_transactions_rate |
DML TPS |
该指标用于统计每秒向目标库写入的DML事务数。 |
≥ 0 transaction/s |
transaction/s |
不涉及 |
实时处理集成作业 |
1分钟 |
apply_ddls_rate |
DDL TPS |
该指标用于统计每秒向目标库写入的DDL事务数。 |
≥ 0 record/s |
record/s |
不涉及 |
实时处理集成作业 |
1分钟 |
apply_latency |
数据同步时延 |
该指标用于统计当前数据同步的时。 |
≥ 0 ms |
ms |
不涉及 |
实时处理集成作业 |
1分钟 |
操作步骤
- 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
- 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
- 在数据开发主界面的左侧导航栏,选择 。
- 选择“实时集成作业监控”页签,单击作业名称。
图1 实时集成作业监控
- 在详情页面,选择“监控信息”,在页面最下方可直接查看作业的部分关键指标数据。
图2 关键指标
- 单击“查看监控指标”,跳转至云服务监控详情页面,查看图形化监控指标。
图3 查看监控指标