查看监控指标
操作场景
当您启动了实时集成作业后,云监控服务会自动关联实时集成作业的监控指标,帮助您精确掌握作业的各项性能指标和运行情况。

由于监控数据的获取与传输会花费一定时间,因此监控显示的是当前时间5~10分钟前的状态。如果您的实时处理集成作业刚启动完成,请等待5~10分钟后查看监控数据。
前提条件
- 使用实时集成作业监控功能,需获取CES相关权限。
- 监控指标对应的实时集成作业需要正常运行,停止或异常的作业仅支持查看7天内的监控指标。
- 实时集成作业已正常运行一段时间(约10分钟)。
支持的监控指标
实时处理集成作业支持的监控指标如表1所示。
指标ID | 指标名称 | 指标含义 | 取值范围 | 单位 | 进制 | 维度 | 监控周期(原始指标) |
|---|---|---|---|---|---|---|---|
extract_latency | 源库WAL抽取时延 | 该指标用于统计当前从源库抽取WAL的时延。 | ≥ 0 ms | ms | 不涉及 | dm_di_job_id | 1分钟 |
flink_read_records_per_second | 作业数据输入速率 | 展示用户Flink作业的数据输入速率,供监控和调试使用。 | ≥ 0 record/s | record/s | 不涉及 | dm_di_job_id | 1分钟 |
flink_write_records_per_second | 作业数据输出速率 | 展示用户Flink作业的数据输出速率,供监控和调试使用。 | ≥ 0 record/s | record/s | 不涉及 | dm_di_job_id | 1分钟 |
flink_read_records_total | 作业数据输入总数 | 展示用户Flink作业的数据输入总数,供监控和调试使用。 | ≥ 0 record/s | record/s | 不涉及 | dm_di_job_id | 1分钟 |
flink_write_records_total | 作业数据输出总数 | 展示用户Flink作业的数据输出总数,供监控和调试使用。 | ≥ 0 record/s | record/s | 不涉及 | dm_di_job_id | 1分钟 |
flink_read_bytes_per_second | 作业字节输入速率 | 展示用户Flink作业每秒输入的字节数。 | ≥ 0 Byte/s | Byte/s | 1024(IEC) | dm_di_job_id | 1分钟 |
flink_write_bytes_per_second | 作业字节输出速率 | 展示用户Flink作业每秒输出的字节数。 | ≥ 0 Byte/s | Byte/s | 1024(IEC) | dm_di_job_id | 1分钟 |
flink_read_bytes_total | 作业字节输入总数 | 展示用户Flink作业字节的输入总数。 | ≥ 0 Byte | Byte | 1024(IEC) | dm_di_job_id | 1分钟 |
flink_write_bytes_total | 作业字节输出总数 | 展示用户Flink作业字节的输出总数。 | ≥ 0 Byte | Byte | 1024(IEC) | dm_di_job_id | 1分钟 |
flink_cpu_usage | 作业CPU使用率 | 展示用户Flink作业的CPU使用率。 | 0%~100% | % | 不涉及 | dm_di_job_id | 1分钟 |
flink_mem_usage | 作业内存使用率 | 展示用户Flink作业的内存使用率。 | 0%~100% | % | 不涉及 | dm_di_job_id | 1分钟 |
flink_max_op_latency | 作业最大算子时延 | 展示用户Flink作业的最大算子时延时间。 | ≥ 0 ms | ms | 不涉及 | dm_di_job_id | 1分钟 |
flink_max_op_backpressure_level | 作业最大算子反压 | 展示用户Flink作业的最大算子反压值,数值从0-1,数值越大,反压越严重。 | 0~1 | - | 不涉及 | dm_di_job_id | 1分钟 |
binlog_file_read_per_second | 每秒binlog文件数 | 该指标用于统计每秒binlog读取的文件数。 | ≥ 0 count/s | count/s | 不涉及 | dm_di_job_id | 1分钟 |
binlog_file_read_total | binlog文件总量 | 该指标用于统计binlog读取的文件总量。 | ≥ 0 count | count | 不涉及 | dm_di_job_id | 1分钟 |
binlog_bytes_per_second | 每秒binlog字节量 | 该指标用于统计每秒binlog读取的字节量。 | ≥ 0 byte/s | bytes/s | 1024(IEC) | dm_di_job_id | 1分钟 |
binlog_bytes_total | binlog字节总量 | 该指标用于统计binlog读取的字节总量。 | ≥ 0 bytes | bytes | 1024(IEC) | dm_di_job_id | 1分钟 |
insert_sink_num | 插入目的端的总数 | 该指标用于统计插入目的端的总条数。 | ≥ 0 count | count | 不涉及 | dm_di_job_id | 1分钟 |
update_sink_num | 更新目的端的总数 | 该指标用于统计更新目的端的总条数。 | ≥ 0 count | count | 不涉及 | dm_di_job_id | 1分钟 |
delete_sink_num | 删除目的端的总数 | 该指标用于统计删除目的端的总条数。 | ≥ 0 count | count | 不涉及 | dm_di_job_id | 1分钟 |
dirty_records_out | 脏数据条数 | 脏数据条数。 | ≥ 0 count | records | 不涉及 | dm_di_job_id | 1分钟 |
dirty_bytes_out | 脏数据字节数 | 脏数据字节。 | ≥ 0 bytes | bytes | 1024(IEC) | dm_di_job_id | 1分钟 |
unsupport_ddls_num | 不支持的DDL总数 | 不支持的DDL总数。 | ≥ 0 count | count | 不涉及 | dm_di_job_id | 1分钟 |
ignored_ddls_num | 忽略的DDL总数 | 忽略的DDL总数。 | ≥ 0 count | count | 不涉及 | dm_di_job_id | 1分钟 |
job_retry_times | 任务重试次数 | 任务重试次数。 | ≥ 0 count | count | 不涉及 | dm_di_job_id | 1分钟 |
queue_job_launching_num | 提交中作业数 | 该指标用于统计队列的提交中作业数。 | ≥ 0 count | Count | 不涉及 | dm_di_job_id | 6分钟 |
queue_job_running_num | 运行中作业数 | 该指标用于统计队列的运行中作业数。 | ≥ 0 count | Count | 不涉及 | dm_di_job_id | 6分钟 |
queue_job_succeed_num | 已完成作业数 | 该指标用于统计队列的已完成作业数。 | ≥ 0 count | Count | 不涉及 | dm_di_job_id | 6分钟 |
queue_job_failed_num | 已失败作业数 | 该指标用于统计队列的已失败作业数。 | ≥ 0 count | Count | 不涉及 | dm_di_job_id | 6分钟 |
queue_job_cancelled_num | 已取消作业数 | 该指标用于统计队列的已取消作业数。 | ≥ 0 count | Count | 不涉及 | dm_di_job_id | 6分钟 |
elastic_resource_pool_cpu_usage | 资源组CPU使用率 | 该指标用于统计资源组已使用核心数占总核心数的百分比。 | 0% ~ 100% | % | 不涉及 | dm_di_job_id | 6分钟 |
elastic_resource_pool_mem_usage | 资源组内存使用率 | 该指标用于统计资源组已使用内存占申请内存总量的百分比。 | 0% ~ 100% | % | 不涉及 | dm_di_job_id | 6分钟 |
elastic_resource_pool_disk_usage | 资源组磁盘使用率 | 该指标用于统计资源组磁盘已使用磁盘占申请磁盘总量的百分比。 | 0% ~ 100% | % | 不涉及 | dm_di_job_id | 6分钟 |
elastic_resource_pool_disk_max_usage | 资源组磁盘使用率最大值 | 该指标用于统计资源组磁盘使用率最大值。 | 0% ~ 100% | % | 不涉及 | dm_di_job_id | 6分钟 |
elastic_resource_pool_cu_num | 资源组CU使用量 | 该指标用于统计资源组CU使用量。 | ≥ 0 count | Count | 不涉及 | dm_di_job_id | 6分钟 |
elastic_resource_pool_min_cu_num | 资源组最小CU | 该指标用于统计资源组最小CU。 | ≥ 0 count | Count | 不涉及 | dm_di_job_id | 6分钟 |
elastic_resource_pool_max_cu_num | 资源组最大CU | 该指标用于统计资源组最大CU。 | ≥ 0 count | Count | 不涉及 | dm_di_job_id | 6分钟 |
elastic_resource_pool_alloc_cu_num | 资源组CU分配量 | 该指标用于统计资源组分配给每个队列的CU数量之和。 | ≥ 0 count | Count | 不涉及 | dm_di_job_id | 6分钟 |
apply_ddls_number | DDL总数 | 该指标用于统计向目标库写入的DDL事务总数。 | ≥ 0 count | Count | 不涉及 | dm_di_job_id | 1分钟 |
network_incoming_bytes_rate | 网络输入吞吐量 | 该指标用于统计平均每秒从测量对象的所有网络适配器输入的流量。 | ≥ 0 byte/s | byte/s | 1024(IEC) | dm_di_job_id | 1分钟 |
network_outgoing_bytes_rate | 网络输出吞吐量 | 该指标用于统计平均每秒从测量对象的所有网络适配器输出的流量。 | ≥ 0 byte/s | byte/s | 1024(IEC) | dm_di_job_id | 1分钟 |
disk_read_bytes_rate | 磁盘读吞吐量 | 该指标用于统计每秒从磁盘读取的字节数。 | ≥ 0 byte/s | byte/s | 1024(IEC) | dm_di_job_id | 1分钟 |
disk_write_bytes_rate | 磁盘写吞吐量 | 该指标用于统计每秒从磁盘写入的字节数。 | ≥ 0 byte/s | byte/s | 1024(IEC) | dm_di_job_id | 1分钟 |
disk_util | 磁盘利用率 | 该指标用于统计测量对象的磁盘利用率。 | 0% ~ 100% | % | 不涉及 | dm_di_job_id | 1分钟 |
extract_bytes_rate | 读源库吞吐量 | 该指标用于统计每秒从源库读取表数据或者WAL的字节数。 | ≥ 0 byte/s | byte/s | 1024(IEC) | dm_di_job_id | 1分钟 |
extract_rows_rate | 读源库频率 | 该指标用于统计每秒从源库读取表数据或者WAL的行数。 | ≥ 0 row/s | row/s | 不涉及 | dm_di_job_id | 1分钟 |
apply_bytes_rate | 写目标库吞吐量 | 该指标用于统计每秒向目标库写入数据的字节数。 | ≥ 0 byte/s | byte/s | 1024(IEC) | dm_di_job_id | 1分钟 |
apply_rows_rate | 写目标库频率 | 该指标用于统计每秒向目标库写入数据的行数。 | ≥ 0 row/s | row/s | 不涉及 | dm_di_job_id | 1分钟 |
lag_records | 数据堆积 | 未消费的数据量。 | ≥ 0 records | records | 不涉及 | dm_di_job_id | 1分钟 |
insert_num | 插入次数 | 数据插入次数。 | ≥ 0 count | Count | 不涉及 | dm_di_job_id | 1分钟 |
update_num | 更新次数 | 数据更新次数。 | ≥ 0 count | Count | 不涉及 | dm_di_job_id | 1分钟 |
delete_num | 删除次数 | 数据删除次数。 | ≥ 0 count | Count | 不涉及 | dm_di_job_id | 1分钟 |
apply_transactions_rate | DML TPS | 该指标用于统计每秒向目标库写入的DML事务数。 | ≥ 0 transaction/s | transaction/s | 不涉及 | dm_di_job_id | 1分钟 |
apply_ddls_rate | DDL TPS | 该指标用于统计每秒向目标库写入的DDL事务数。 | ≥ 0 record/s | record/s | 不涉及 | dm_di_job_id | 1分钟 |
apply_latency | 数据同步时延 | 该指标用于统计当前数据同步的时。 | ≥ 0 ms | ms | 不涉及 | dm_di_job_id | 1分钟 |
维度
Key | Value |
|---|---|
dm_di_job_id | 实时处理集成作业ID。 该值可联系客服或技术支持人员获取。 |
操作步骤
- 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
- 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
- 在数据开发主界面的左侧导航栏,选择。
- 选择“实时集成作业监控”页签,单击作业名称。 图1 实时集成作业监控

- 在详情页面,选择“监控信息”,在页面最下方可直接查看作业的部分关键指标数据。 图2 关键指标

- 单击“查看监控指标”,跳转至云服务监控详情页面,查看图形化监控指标。 图3 查看监控指标


更多关于监控指标的信息,请参见云监控用户指南。

