更新时间:2025-04-24 GMT+08:00
分享

查看监控指标

操作场景

当您启动了实时集成作业后,云监控服务会自动关联实时集成作业的监控指标,帮助您精确掌握作业的各项性能指标和运行情况。

由于监控数据的获取与传输会花费一定时间,因此监控显示的是当前时间5~10分钟前的状态。如果您的实时处理集成作业刚启动完成,请等待5~10分钟后查看监控数据。

前提条件

  • 使用实时集成作业监控功能,需获取CES相关权限。
  • 监控指标对应的实时集成作业需要正常运行,停止或异常的作业仅支持查看7天内的监控指标。
  • 实时集成作业已正常运行一段时间(约10分钟)。

支持的监控指标

实时处理集成作业支持的监控指标如表1所示。

表1 实时处理集成作业支持的监控指标

指标ID

指标名称

指标含义

取值范围

单位

进制

测量对象(维度)

监控周期(原始指标)

extract_latency

源库WAL抽取时延

该指标用于统计当前从源库抽取WAL的时延。

≥ 0 ms

ms

不涉及

实时处理集成作业

1分钟

flink_read_records_per_second

作业数据输入速率

展示用户Flink作业的数据输入速率,供监控和调试使用。

≥ 0 record/s

record/s

不涉及

实时处理集成作业

1分钟

flink_write_records_per_second

作业数据输出速率

展示用户Flink作业的数据输出速率,供监控和调试使用。

≥ 0 record/s

record/s

不涉及

实时处理集成作业

1分钟

flink_read_records_total

作业数据输入总数

展示用户Flink作业的数据输入总数,供监控和调试使用。

≥ 0 record/s

record/s

不涉及

实时处理集成作业

1分钟

flink_write_records_total

作业数据输出总数

展示用户Flink作业的数据输出总数,供监控和调试使用。

≥ 0 record/s

record/s

不涉及

实时处理集成作业

1分钟

flink_read_bytes_per_second

作业字节输入速率

展示用户Flink作业每秒输入的字节数。

≥ 0 Byte/s

Byte/s

1024(IEC)

实时处理集成作业

1分钟

flink_write_bytes_per_second

作业字节输出速率

展示用户Flink作业每秒输出的字节数。

≥ 0 Byte/s

Byte/s

1024(IEC)

实时处理集成作业

1分钟

flink_read_bytes_total

作业字节输入总数

展示用户Flink作业字节的输入总数。

≥ 0 Byte

Byte

1024(IEC)

实时处理集成作业

1分钟

flink_write_bytes_total

作业字节输出总数

展示用户Flink作业字节的输出总数。

≥ 0 Byte

Byte

1024(IEC)

实时处理集成作业

1分钟

flink_cpu_usage

作业CPU使用率

展示用户Flink作业的CPU使用率。

0%~100%

%

不涉及

实时处理集成作业

1分钟

flink_mem_usage

作业内存使用率

展示用户Flink作业的内存使用率。

0%~100%

%

不涉及

实时处理集成作业

1分钟

flink_max_op_latency

作业最大算子时延

展示用户Flink作业的最大算子时延时间。

≥ 0 ms

ms

不涉及

实时处理集成作业

1分钟

flink_max_op_backpressure_level

作业最大算子反压

展示用户Flink作业的最大算子反压值,数值从0-1,数值越大,反压越严重。

0~1

-

不涉及

实时处理集成作业

1分钟

binlog_file_read_per_second

每秒binlog文件数

该指标用于统计每秒binlog读取的文件数。

≥ 0 count/s

count/s

不涉及

实时处理集成作业

1分钟

binlog_file_read_total

binlog文件总量

该指标用于统计binlog读取的文件总量。

≥ 0 count

count

不涉及

实时处理集成作业

1分钟

binlog_bytes_per_second

每秒binlog字节量

该指标用于统计每秒binlog读取的字节量。

≥ 0 byte/s

bytes/s

1024(IEC)

实时处理集成作业

1分钟

binlog_bytes_total

binlog字节总量

该指标用于统计binlog读取的字节总量。

≥ 0 bytes

bytes

1024(IEC)

实时处理集成作业

1分钟

insert_sink_num

插入目的端的总数

该指标用于统计插入目的端的总条数。

≥ 0 count

count

不涉及

实时处理集成作业

1分钟

update_sink_num

更新目的端的总数

该指标用于统计更新目的端的总条数。

≥ 0 count

count

不涉及

实时处理集成作业

1分钟

delete_sink_num

删除目的端的总数

该指标用于统计删除目的端的总条数。

≥ 0 count

count

不涉及

实时处理集成作业

1分钟

dirty_records_out

脏数据条数

脏数据条数。

≥ 0 count

records

不涉及

实时处理集成作业

1分钟

dirty_bytes_out

脏数据字节数

脏数据字节。

≥ 0 bytes

bytes

1024(IEC)

实时处理集成作业

1分钟

unsupport_ddls_num

不支持的DDL总数

不支持的DDL总数。

≥ 0 count

count

不涉及

实时处理集成作业

1分钟

ignored_ddls_num

忽略的DDL总数

忽略的DDL总数。

≥ 0 count

count

不涉及

实时处理集成作业

1分钟

job_retry_times

任务重试次数

任务重试次数。

≥ 0 count

count

不涉及

实时处理集成作业

1分钟

queue_job_launching_num

提交中作业数

该指标用于统计队列的提交中作业数。

≥ 0 count

Count

不涉及

实时处理集成作业

6分钟

queue_job_running_num

运行中作业数

该指标用于统计队列的运行中作业数。

≥ 0 count

Count

不涉及

实时处理集成作业

6分钟

queue_job_succeed_num

已完成作业数

该指标用于统计队列的已完成作业数。

≥ 0 count

Count

不涉及

实时处理集成作业

6分钟

queue_job_failed_num

已失败作业数

该指标用于统计队列的已失败作业数。

≥ 0 count

Count

不涉及

实时处理集成作业

6分钟

queue_job_cancelled_num

已取消作业数

该指标用于统计队列的已取消作业数。

≥ 0 count

Count

不涉及

实时处理集成作业

6分钟

elastic_resource_pool_cpu_usage

资源组CPU使用率

该指标用于统计资源组已使用核心数占总核心数的百分比。

0% ~ 100%

%

不涉及

实时处理集成作业

6分钟

elastic_resource_pool_mem_usage

资源组内存使用率

该指标用于统计资源组已使用内存占申请内存总量的百分比。

0% ~ 100%

%

不涉及

实时处理集成作业

6分钟

elastic_resource_pool_disk_usage

资源组磁盘使用率

该指标用于统计资源组磁盘已使用磁盘占申请磁盘总量的百分比。

0% ~ 100%

%

不涉及

实时处理集成作业

6分钟

elastic_resource_pool_disk_max_usage

资源组磁盘使用率最大值

该指标用于统计资源组磁盘使用率最大值。

0% ~ 100%

%

不涉及

实时处理集成作业

6分钟

elastic_resource_pool_cu_num

资源组CU使用量

该指标用于统计资源组CU使用量。

≥ 0 count

Count

不涉及

实时处理集成作业

6分钟

elastic_resource_pool_min_cu_num

资源组最小CU

该指标用于统计资源组最小CU。

≥ 0 count

Count

不涉及

实时处理集成作业

6分钟

elastic_resource_pool_max_cu_num

资源组最大CU

该指标用于统计资源组最大CU。

≥ 0 count

Count

不涉及

实时处理集成作业

6分钟

elastic_resource_pool_alloc_cu_num

资源组CU分配量

该指标用于统计资源组分配给每个队列的CU数量之和。

≥ 0 count

Count

不涉及

实时处理集成作业

6分钟

apply_ddls_number

DDL总数

该指标用于统计向目标库写入的DDL事务总数。

≥ 0 count

Count

不涉及

实时处理集成作业

1分钟

network_incoming_bytes_rate

网络输入吞吐量

该指标用于统计平均每秒从测量对象的所有网络适配器输入的流量。

≥ 0 byte/s

byte/s

1024(IEC)

实时处理集成作业

1分钟

network_outgoing_bytes_rate

网络输出吞吐量

该指标用于统计平均每秒从测量对象的所有网络适配器输出的流量。

≥ 0 byte/s

byte/s

1024(IEC)

实时处理集成作业

1分钟

disk_read_bytes_rate

磁盘读吞吐量

该指标用于统计每秒从磁盘读取的字节数。

≥ 0 byte/s

byte/s

1024(IEC)

实时处理集成作业

1分钟

disk_write_bytes_rate

磁盘写吞吐量

该指标用于统计每秒从磁盘写入的字节数。

≥ 0 byte/s

byte/s

1024(IEC)

实时处理集成作业

1分钟

disk_util

磁盘利用率

该指标用于统计测量对象的磁盘利用率。

0% ~ 100%

%

不涉及

实时处理集成作业

1分钟

extract_bytes_rate

读源库吞吐量

该指标用于统计每秒从源库读取表数据或者WAL的字节数。

≥ 0 byte/s

byte/s

1024(IEC)

实时处理集成作业

1分钟

extract_rows_rate

读源库频率

该指标用于统计每秒从源库读取表数据或者WAL的行数。

≥ 0 row/s

row/s

不涉及

实时处理集成作业

1分钟

apply_bytes_rate

写目标库吞吐量

该指标用于统计每秒向目标库写入数据的字节数。

≥ 0 byte/s

byte/s

1024(IEC)

实时处理集成作业

1分钟

apply_rows_rate

写目标库频率

该指标用于统计每秒向目标库写入数据的行数。

≥ 0 row/s

row/s

不涉及

实时处理集成作业

1分钟

lag_records

数据堆积

未消费的数据量。

≥ 0 records

records

不涉及

实时处理集成作业

1分钟

insert_num

插入次数

数据插入次数。

≥ 0 count

Count

不涉及

实时处理集成作业

1分钟

update_num

更新次数

数据更新次数。

≥ 0 count

Count

不涉及

实时处理集成作业

1分钟

delete_num

删除次数

数据删除次数。

≥ 0 count

Count

不涉及

实时处理集成作业

1分钟

apply_transactions_rate

DML TPS

该指标用于统计每秒向目标库写入的DML事务数。

≥ 0 transaction/s

transaction/s

不涉及

实时处理集成作业

1分钟

apply_ddls_rate

DDL TPS

该指标用于统计每秒向目标库写入的DDL事务数。

≥ 0 record/s

record/s

不涉及

实时处理集成作业

1分钟

apply_latency

数据同步时延

该指标用于统计当前数据同步的时。

≥ 0 ms

ms

不涉及

实时处理集成作业

1分钟

操作步骤

  1. 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
  2. DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  3. 在数据开发主界面的左侧导航栏,选择运维调度 > 作业监控
  4. 选择“实时集成作业监控”页签,单击作业名称。
    图1 实时集成作业监控
  5. 在详情页面,选择“监控信息”,在页面最下方可直接查看作业的部分关键指标数据。
    图2 关键指标
  6. 单击“查看监控指标”,跳转至云服务监控详情页面,查看图形化监控指标。
    图3 查看监控指标

    更多关于监控指标的信息,请参见云监控用户指南

相关文档