查看监控指标
操作场景
当您启动了实时集成作业后,云监控服务会自动关联实时集成作业的监控指标,帮助您精确掌握作业的各项性能指标和运行情况。
 
   由于监控数据的获取与传输会花费一定时间,因此监控显示的是当前时间5~10分钟前的状态。如果您的实时处理集成作业刚启动完成,请等待5~10分钟后查看监控数据。
前提条件
- 使用实时集成作业监控功能,需获取CES相关权限。
 - 监控指标对应的实时集成作业需要正常运行,停止或异常的作业仅支持查看7天内的监控指标。
 - 实时集成作业已正常运行一段时间(约10分钟)。
 
支持的监控指标
实时处理集成作业支持的监控指标如表1所示。
| 
        指标ID  | 
      
        指标名称  | 
      
        指标含义  | 
      
        取值范围  | 
      
        单位  | 
      
        进制  | 
      
        测量对象(维度)  | 
      
        监控周期(原始指标)  | 
     
|---|---|---|---|---|---|---|---|
| 
        extract_latency  | 
      
        源库WAL抽取时延  | 
      
        该指标用于统计当前从源库抽取WAL的时延。  | 
      
        ≥ 0 ms  | 
      
        ms  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        flink_read_records_per_second  | 
      
        作业数据输入速率  | 
      
        展示用户Flink作业的数据输入速率,供监控和调试使用。  | 
      
        ≥ 0 record/s  | 
      
        record/s  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        flink_write_records_per_second  | 
      
        作业数据输出速率  | 
      
        展示用户Flink作业的数据输出速率,供监控和调试使用。  | 
      
        ≥ 0 record/s  | 
      
        record/s  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        flink_read_records_total  | 
      
        作业数据输入总数  | 
      
        展示用户Flink作业的数据输入总数,供监控和调试使用。  | 
      
        ≥ 0 record/s  | 
      
        record/s  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        flink_write_records_total  | 
      
        作业数据输出总数  | 
      
        展示用户Flink作业的数据输出总数,供监控和调试使用。  | 
      
        ≥ 0 record/s  | 
      
        record/s  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        flink_read_bytes_per_second  | 
      
        作业字节输入速率  | 
      
        展示用户Flink作业每秒输入的字节数。  | 
      
        ≥ 0 Byte/s  | 
      
        Byte/s  | 
      
        1024(IEC)  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        flink_write_bytes_per_second  | 
      
        作业字节输出速率  | 
      
        展示用户Flink作业每秒输出的字节数。  | 
      
        ≥ 0 Byte/s  | 
      
        Byte/s  | 
      
        1024(IEC)  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        flink_read_bytes_total  | 
      
        作业字节输入总数  | 
      
        展示用户Flink作业字节的输入总数。  | 
      
        ≥ 0 Byte  | 
      
        Byte  | 
      
        1024(IEC)  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        flink_write_bytes_total  | 
      
        作业字节输出总数  | 
      
        展示用户Flink作业字节的输出总数。  | 
      
        ≥ 0 Byte  | 
      
        Byte  | 
      
        1024(IEC)  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        flink_cpu_usage  | 
      
        作业CPU使用率  | 
      
        展示用户Flink作业的CPU使用率。  | 
      
        0%~100%  | 
      
        %  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        flink_mem_usage  | 
      
        作业内存使用率  | 
      
        展示用户Flink作业的内存使用率。  | 
      
        0%~100%  | 
      
        %  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        flink_max_op_latency  | 
      
        作业最大算子时延  | 
      
        展示用户Flink作业的最大算子时延时间。  | 
      
        ≥ 0 ms  | 
      
        ms  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        flink_max_op_backpressure_level  | 
      
        作业最大算子反压  | 
      
        展示用户Flink作业的最大算子反压值,数值从0-1,数值越大,反压越严重。  | 
      
        0~1  | 
      
        -  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        binlog_file_read_per_second  | 
      
        每秒binlog文件数  | 
      
        该指标用于统计每秒binlog读取的文件数。  | 
      
        ≥ 0 count/s  | 
      
        count/s  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        binlog_file_read_total  | 
      
        binlog文件总量  | 
      
        该指标用于统计binlog读取的文件总量。  | 
      
        ≥ 0 count  | 
      
        count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        binlog_bytes_per_second  | 
      
        每秒binlog字节量  | 
      
        该指标用于统计每秒binlog读取的字节量。  | 
      
        ≥ 0 byte/s  | 
      
        bytes/s  | 
      
        1024(IEC)  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        binlog_bytes_total  | 
      
        binlog字节总量  | 
      
        该指标用于统计binlog读取的字节总量。  | 
      
        ≥ 0 bytes  | 
      
        bytes  | 
      
        1024(IEC)  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        insert_sink_num  | 
      
        插入目的端的总数  | 
      
        该指标用于统计插入目的端的总条数。  | 
      
        ≥ 0 count  | 
      
        count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        update_sink_num  | 
      
        更新目的端的总数  | 
      
        该指标用于统计更新目的端的总条数。  | 
      
        ≥ 0 count  | 
      
        count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        delete_sink_num  | 
      
        删除目的端的总数  | 
      
        该指标用于统计删除目的端的总条数。  | 
      
        ≥ 0 count  | 
      
        count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        dirty_records_out  | 
      
        脏数据条数  | 
      
        脏数据条数。  | 
      
        ≥ 0 count  | 
      
        records  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        dirty_bytes_out  | 
      
        脏数据字节数  | 
      
        脏数据字节。  | 
      
        ≥ 0 bytes  | 
      
        bytes  | 
      
        1024(IEC)  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        unsupport_ddls_num  | 
      
        不支持的DDL总数  | 
      
        不支持的DDL总数。  | 
      
        ≥ 0 count  | 
      
        count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        ignored_ddls_num  | 
      
        忽略的DDL总数  | 
      
        忽略的DDL总数。  | 
      
        ≥ 0 count  | 
      
        count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        job_retry_times  | 
      
        任务重试次数  | 
      
        任务重试次数。  | 
      
        ≥ 0 count  | 
      
        count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        queue_job_launching_num  | 
      
        提交中作业数  | 
      
        该指标用于统计队列的提交中作业数。  | 
      
        ≥ 0 count  | 
      
        Count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        6分钟  | 
     
| 
        queue_job_running_num  | 
      
        运行中作业数  | 
      
        该指标用于统计队列的运行中作业数。  | 
      
        ≥ 0 count  | 
      
        Count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        6分钟  | 
     
| 
        queue_job_succeed_num  | 
      
        已完成作业数  | 
      
        该指标用于统计队列的已完成作业数。  | 
      
        ≥ 0 count  | 
      
        Count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        6分钟  | 
     
| 
        queue_job_failed_num  | 
      
        已失败作业数  | 
      
        该指标用于统计队列的已失败作业数。  | 
      
        ≥ 0 count  | 
      
        Count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        6分钟  | 
     
| 
        queue_job_cancelled_num  | 
      
        已取消作业数  | 
      
        该指标用于统计队列的已取消作业数。  | 
      
        ≥ 0 count  | 
      
        Count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        6分钟  | 
     
| 
        elastic_resource_pool_cpu_usage  | 
      
        资源组CPU使用率  | 
      
        该指标用于统计资源组已使用核心数占总核心数的百分比。  | 
      
        0% ~ 100%  | 
      
        %  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        6分钟  | 
     
| 
        elastic_resource_pool_mem_usage  | 
      
        资源组内存使用率  | 
      
        该指标用于统计资源组已使用内存占申请内存总量的百分比。  | 
      
        0% ~ 100%  | 
      
        %  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        6分钟  | 
     
| 
        elastic_resource_pool_disk_usage  | 
      
        资源组磁盘使用率  | 
      
        该指标用于统计资源组磁盘已使用磁盘占申请磁盘总量的百分比。  | 
      
        0% ~ 100%  | 
      
        %  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        6分钟  | 
     
| 
        elastic_resource_pool_disk_max_usage  | 
      
        资源组磁盘使用率最大值  | 
      
        该指标用于统计资源组磁盘使用率最大值。  | 
      
        0% ~ 100%  | 
      
        %  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        6分钟  | 
     
| 
        elastic_resource_pool_cu_num  | 
      
        资源组CU使用量  | 
      
        该指标用于统计资源组CU使用量。  | 
      
        ≥ 0 count  | 
      
        Count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        6分钟  | 
     
| 
        elastic_resource_pool_min_cu_num  | 
      
        资源组最小CU  | 
      
        该指标用于统计资源组最小CU。  | 
      
        ≥ 0 count  | 
      
        Count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        6分钟  | 
     
| 
        elastic_resource_pool_max_cu_num  | 
      
        资源组最大CU  | 
      
        该指标用于统计资源组最大CU。  | 
      
        ≥ 0 count  | 
      
        Count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        6分钟  | 
     
| 
        elastic_resource_pool_alloc_cu_num  | 
      
        资源组CU分配量  | 
      
        该指标用于统计资源组分配给每个队列的CU数量之和。  | 
      
        ≥ 0 count  | 
      
        Count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        6分钟  | 
     
| 
        apply_ddls_number  | 
      
        DDL总数  | 
      
        该指标用于统计向目标库写入的DDL事务总数。  | 
      
        ≥ 0 count  | 
      
        Count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        network_incoming_bytes_rate  | 
      
        网络输入吞吐量  | 
      
        该指标用于统计平均每秒从测量对象的所有网络适配器输入的流量。  | 
      
        ≥ 0 byte/s  | 
      
        byte/s  | 
      
        1024(IEC)  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        network_outgoing_bytes_rate  | 
      
        网络输出吞吐量  | 
      
        该指标用于统计平均每秒从测量对象的所有网络适配器输出的流量。  | 
      
        ≥ 0 byte/s  | 
      
        byte/s  | 
      
        1024(IEC)  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        disk_read_bytes_rate  | 
      
        磁盘读吞吐量  | 
      
        该指标用于统计每秒从磁盘读取的字节数。  | 
      
        ≥ 0 byte/s  | 
      
        byte/s  | 
      
        1024(IEC)  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        disk_write_bytes_rate  | 
      
        磁盘写吞吐量  | 
      
        该指标用于统计每秒从磁盘写入的字节数。  | 
      
        ≥ 0 byte/s  | 
      
        byte/s  | 
      
        1024(IEC)  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        disk_util  | 
      
        磁盘利用率  | 
      
        该指标用于统计测量对象的磁盘利用率。  | 
      
        0% ~ 100%  | 
      
        %  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        extract_bytes_rate  | 
      
        读源库吞吐量  | 
      
        该指标用于统计每秒从源库读取表数据或者WAL的字节数。  | 
      
        ≥ 0 byte/s  | 
      
        byte/s  | 
      
        1024(IEC)  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        extract_rows_rate  | 
      
        读源库频率  | 
      
        该指标用于统计每秒从源库读取表数据或者WAL的行数。  | 
      
        ≥ 0 row/s  | 
      
        row/s  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        apply_bytes_rate  | 
      
        写目标库吞吐量  | 
      
        该指标用于统计每秒向目标库写入数据的字节数。  | 
      
        ≥ 0 byte/s  | 
      
        byte/s  | 
      
        1024(IEC)  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        apply_rows_rate  | 
      
        写目标库频率  | 
      
        该指标用于统计每秒向目标库写入数据的行数。  | 
      
        ≥ 0 row/s  | 
      
        row/s  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        lag_records  | 
      
        数据堆积  | 
      
        未消费的数据量。  | 
      
        ≥ 0 records  | 
      
        records  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        insert_num  | 
      
        插入次数  | 
      
        数据插入次数。  | 
      
        ≥ 0 count  | 
      
        Count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        update_num  | 
      
        更新次数  | 
      
        数据更新次数。  | 
      
        ≥ 0 count  | 
      
        Count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        delete_num  | 
      
        删除次数  | 
      
        数据删除次数。  | 
      
        ≥ 0 count  | 
      
        Count  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        apply_transactions_rate  | 
      
        DML TPS  | 
      
        该指标用于统计每秒向目标库写入的DML事务数。  | 
      
        ≥ 0 transaction/s  | 
      
        transaction/s  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        apply_ddls_rate  | 
      
        DDL TPS  | 
      
        该指标用于统计每秒向目标库写入的DDL事务数。  | 
      
        ≥ 0 record/s  | 
      
        record/s  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
| 
        apply_latency  | 
      
        数据同步时延  | 
      
        该指标用于统计当前数据同步的时。  | 
      
        ≥ 0 ms  | 
      
        ms  | 
      
        不涉及  | 
      
        实时处理集成作业  | 
      
        1分钟  | 
     
操作步骤
- 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
 - 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
 - 在数据开发主界面的左侧导航栏,选择。
 - 选择“实时集成作业监控”页签,单击作业名称。
    图1 实时集成作业监控
     - 在详情页面,选择“监控信息”,在页面最下方可直接查看作业的部分关键指标数据。
    图2 关键指标
     - 单击“查看监控指标”,跳转至云服务监控详情页面,查看图形化监控指标。
    图3 查看监控指标
    
 
     更多关于监控指标的信息,请参见云监控用户指南。