# SQL执行监控 #### SQL历史监控数据详解 SQL历史监控数据中记录了查询作业的各项资源使用情况（包括内存、下盘、CN和DN时长、OBS访问时间、LakeFormation访问时间等）以及SQL执行计划信息（EXPLAIN/EXPLAIN PERFORMANCE），且历史监控数据只有在SQL语句执行结束后才会生成。 SQL历史监控数据对外展示的字段如下： 表1SQL历史监控数据对外展示的字段 | 字段名称 | 子字段名称 | 类型 | 描述 | |:---|:---|:---|:---| | session_id | - | text | 语句的Session ID。 | | statement_id | - | text | 语句ID。 | | start_time | - | timestampt with zone | 语句起始时间。 | | finish_time | - | timestampt with zone | 语句上报时间/结束时间。 | | duration | - | bigint | 语句运行时间。 单位：ms | | cn_actor_info | - | text | CN的Serverless信息。 | | cn_actor_info | actor_name | text | CN所在的Pod名称。 | | cn_actor_info | actor_ip | text | CN所在的Pod IP。 | | cn_actor_info | actor_id | text | CN在Pod中的名称。 | | dn_actor_info | - | text | DN的Serverless信息。 | | dn_actor_info | actor_name | text | DN所在的Pod名称。 | | dn_actor_info | actor_ip | text | DN所在的Pod ID。 | | dn_actor_info | actor_id | text | DN在Pod中的名称。 | | startup_coordinator_duration | - | bigint | 启动CN时长。 单位：ms | | create_session_duration | - | bigint | 创建Session时长。 单位：ms | | enqueue_statement_duration | - | bigint | 语句加入任务队列时长。 单位：ms | | queue_duration | - | bigint | 语句在任务队列中排队时长。 单位：ms | | write_resultset_duration | - | bigint | 语句写结果集时长。 单位：ms | | queryid | - | bigint | Debug Query的ID。 | | status | - | text | 语句状态。 | | abort_info | - | text | 报错信息。 | | schemaname | - | text | 语句执行时的Schema名称。 | | query | - | text | 语句。 | | query_plan | - | text | GUC参数resource_track_level为query时是explain信息，为perf时是explain performance信息。 | | tid | - | bigint | 线程ID。 | | parse_time | - | bigint | 从解析到执行开始之前的时间。 单位：ms | | estimate_memory | - | int | 语句估计内存。 单位：MB | | dn_time | - | text | DN时长信息。 | | dn_time | min_dn_time | bigint | 最小DN时长。 单位：ms | | dn_time | max_dn_time | bigint | 最大DN时长。 单位：ms | | dn_time | average_dn_time | bigint | 平均DN时长。 单位：ms | | dn_time | dntime_skew_percent | int | DN时长偏斜百分比。 单位：% | | dn_cpu_time | - | text | DN CPU时长 | | dn_cpu_time | min_cpu_time | bigint | 最小DN CPU时长。 单位：ms | | dn_cpu_time | max_cpu_time | bigint | 最大DN CPU时长。 单位：ms | | dn_cpu_time | average_cpu_time | bigint | 平均DN CPU时长。 单位：ms | | dn_cpu_time | total_cpu_time | bigint | DN CPU总时长。 单位：ms | | dn_cpu_time | cpu_skew_percent | int | DN CPU时长偏斜百分比。 单位：% | | dn_peak_memory | - | text | DN峰值内存信息。 | | dn_peak_memory | min_peak_memory | int | 所有DN最小峰值内存。 单位：MB | | dn_peak_memory | max_peak_memory | int | 所有DN最大峰值内存。 单位：MB | | dn_peak_memory | average_peak_memory | int | 所有DN平均峰值内存。 单位：MB | | dn_peak_memory | memory_skew_percent | int | 内存倾斜率。 单位：% | | cn_spill_info | - | text | CN下盘信息。 | | cn_spill_info | spill_count | bigint | CN下盘次数。 | | cn_spill_info | spill_size | bigint | CN下盘大小。 单位：MB | | cn_spill_info | spill_obs_size | bigint | CN下盘OBS大小。 单位：MB | | cn_spill_info | write_obs_size | bigint | CN直写OBS大小。 单位：MB | | cn_spill_info | write_disk_size | bigint | CN写本地磁盘大小。 单位：MB | | dn_spill_info | - | text | DN下盘信息。 | | dn_spill_info | spill_dn_num | int | 下盘DN数量。 | | dn_spill_info | spill_count | int | DN下盘总次数 | | dn_spill_info | min_spill_size | bigint | 最大下盘Size。 单位：MB | | dn_spill_info | max_spill_size | bigint | 最小下盘Size。 单位：MB | | dn_spill_info | average_spill_size | bigint | 平均下盘Size。 单位：MB | | dn_spill_info | spill_skew_percent | int | 下盘倾斜率。 单位：% | | dn_spill_info | write_disk_total_size | bigint | DN下盘写本地磁盘总量。 单位：MB | | dn_spill_info | write_disk_max_size | bigint | DN最大写本地磁盘量。 单位：MB | | dn_spill_info | write_disk_min_size | bigint | DN最小写本地磁盘量。 单位：MB | | dn_spill_info | spill_obs_total_size | bigint | DN下盘写OBS总量。 单位：MB | | dn_spill_info | spill_obs_max_size | bigint | DN最大下盘写OBS量。 单位：MB | | dn_spill_info | spill_obs_min_size | bigint | DN最小下盘写OBS量。 单位：MB | | dn_spill_info | write_obs_total_size | bigint | DN直写OBS总量。 单位：MB | | dn_spill_info | write_obs_max_size | bigint | DN最大直写OBS量。 单位：MB | | dn_spill_info | write_obs_min_size | bigint | DN最小直写OBS量。 单位：MB | | disk_cache_info | - | text | 缓存信息。 | | disk_cache_info | disk_cache_hit_ratio | numeric | 磁盘缓存命中率。 | | disk_cache_info | disk_cache_disk_read_size | bigint | 磁盘缓存读取大小。 单位：B | | disk_cache_info | disk_cache_disk_write_size | bigint | 磁盘缓存写入大小。 单位：B | | disk_cache_info | disk_cache_remote_read_size | bigint | 磁盘缓存远程读取大小。 单位：B | | disk_cache_info | disk_cache_remote_read_time | bigint | 磁盘缓存远程读取次数。 单位：次 | | obs_info | - | text | OBS信息。 | | obs_info | vfs_scan_bytes | bigint | OBS文件系统扫描字节数。 单位：B | | obs_info | vfs_remote_read_bytes | bigint | OBS 文件系统远程读取字节数。 单位：B | | obs_info | disk_cache_load_time | bigint | 磁盘缓存本地加载时间。 单位：us | | obs_info | disk_cache_conflict_count | bigint | 磁盘缓存块哈希冲突次数。 单位：次 | | obs_info | disk_cache_error_count | bigint | 磁盘缓存错误次数。 单位：次 | | obs_info | disk_cache_error_code | bigint | 磁盘缓存错误码。 | | obs_info | obs_io_req_avg_rtt | bigint | OBS IO请求平均往返时间。 单位：us | | obs_info | obs_io_req_avg_latency | bigint | OBS IO请求平均延迟。 单位：us | | obs_info | obs_io_req_latency_gt_1s | bigint | OBS IO请求延迟大于1秒的次数。 单位：次 | | obs_info | obs_io_req_latency_gt_10s | bigint | 查询的OBS IO请求延迟大于10秒的次数。 单位：次 | | obs_info | obs_io_req_count | bigint | OBS IO请求次数。 单位：次 | | obs_info | obs_io_req_retry_count | bigint | OBS IO请求重试次数。 单位：次 | | obs_info | obs_io_req_rate_limit_count | bigint | OBS IO请求速率限制次数。 单位：次 | | yr_info | - | text | YR接口调用信息。 | | yr_info | total_call | bigint | 调用的总次数。 | | yr_info | failed_call | bigint | 调用失败的次数。 | | yr_info | avg_call_during | bigint | 平均调用时长。 单位：毫秒 | | yr_info | min_call_during | bigint | 最小调用时长。 单位：毫秒 | | yr_info | max_call_during | bigint | 最大调用时长。 单位：毫秒 | | yr_info | total_data | bigint | 总数据量。 单位：字节 | | yr_info | avg_data_rate | bigint | 平均数据处理速率。 单位：每毫秒字节数 | | yr_info | min_data_rate | bigint | 最小数据处理速率。 单位：每毫秒字节数 | | yr_info | max_data_rate | bigint | 最大数据处理速率。 单位：每毫秒字节数 | 当前SQL监控数据存放在结果集OBS桶中，和结果集文件夹同目录，可以在华为云网站中找到OBS服务打开，根据当前查询的结果集路径找到同目录下的对应SQL监控数据文件并下载查看。SQL监控数据文件打开后如下所示： 图1SQL历史监控信息文件内容 ![](https://support.huaweicloud.com/devg-fabric/figure/zh-cn_image_0000002482710509.png "点击放大") #### SQL实时监控数据详解 SQL实时监控数据中同样记录了查询作业的各项资源使用情况（包括内存、下盘、CN和DN时长、OBS访问时间、LakeFormation访问时间等）以及SQL执行计划信息（EXPLAIN/EXPLAIN PERFORMANCE），但SQL实时监控数据只能获取正在执行的语句的信息，对于执行结束的语句无法获取信息。 使用方式：select \* from gs_wlm_session_statistics(); SQL实时监控数据对外展示的字段如下： 表2SQL实时监控数据对外展示的字段 | 字段名称 | 类型 | 描述 | |:---|:---|:---| | session_id | text | 语句的Session ID。 | | statement_id | text | 语句ID。 | | start_time | timestampt with zone | 语句起始时间。 | | duration | bigint | 语句运行时间。 单位：ms | | estimate_total_time | bigint | 估计的语句运行时长。 单位：ms | | estimate_left_time | bigint | 估计语句剩余运行时长 单位：ms | | cn_actor_info | text | CN的Serverless信息。 | | dn_actor_info | text | DN的Serverless信息。 | | startup_coordinator_duration | bigint | 启动CN时长。 单位：ms | | create_session_duration | bigint | 创建Session时长。 单位：ms | | enqueue_statement_duration | bigint | 语句加入任务队列时长。 单位：ms | | queue_duration | bigint | 语句在任务队列中排队时长。 单位：ms | | write_resultset_duration | bigint | 语句写结果集时长。 单位：ms | | queryid | bigint | Debug Query的ID。 | | schemaname | text | 语句执行时的Schema名称。 | | query | text | 语句。 | | query_plan | text | explain信息 | | tid | bigint | 线程ID。 | | parse_time | bigint | 从解析到执行开始之前的时间。 单位：ms | | estimate_memory | int | 语句估计内存。 单位：MB | | min_dn_time | bigint | 最小DN时长。 单位：ms | | max_dn_time | bigint | 最大DN时长。 单位：ms | | average_dn_time | bigint | 平均DN时长。 单位：ms | | dn_time_skew_percent | int | DN时长偏斜百分比。 单位：% | | dn_min_cpu_time | bigint | 最小DN CPU时长。 单位：ms | | dn_max_cpu_time | bigint | 最大DN CPU时长。 单位：ms | | dn_average_cpu_time | bigint | 平均DN CPU时长。 单位：ms | | dn_total_cpu_time | bigint | DN CPU总时长。 单位：ms | | dn_cpu_skew_percent | int | DN CPU时长偏斜百分比。 单位：% | | dn_min_peak_memory | int | 所有DN最小峰值内存。 单位：MB | | dn_max_peak_memory | int | 所有DN最大峰值内存。 单位：MB | | dn_average_peak_memory | int | 所有DN平均峰值内存。 单位：MB | | dn_memory_skew_percent | int | 内存倾斜率。 单位：% | | dn_spill_)num | int | 下盘DN数量。 | | dn_spill_count | int | 下盘DN次数总量。 | | dn_min_spill_size | bigint | 最大下盘Size。 单位：MB | | dn_max_spill_size | bigint | 最小下盘Size。 单位：MB | | dn_average_spill_size | bigint | 平均下盘Size。 单位：MB | | dn_spill_skew_percent | int | 下盘倾斜率。 单位：% | | dn_write_disk_total_size | bigint | dn下盘写磁盘总量。 单位：MB | | dn_write_disk_max_size | bigint | dn最大下盘写磁盘量。 单位：MB | | dn_write_disk_min_size | bigint | dn最小下盘写磁盘量。 单位：MB | | dn_spill_obs_total_size | bigint | dn下盘写OBS总量。 单位：MB | | dn_spill_obs_max_size | bigint | dn最大下盘写OBS量。 单位：MB | | dn_spill_obs_min_size | bigint | dn最小下盘写OBS量。 单位：MB | | dn_write_obs_total_size | bigint | dn下盘直写OBS总量。 单位：MB | | dn_write_obs_max_size | bigint | dn下盘最大直写OBS量。 单位：MB | | dn_write_obs_min_size | bigint | dn下盘最小直写OBS量。 单位：MB | | cn_spill_count | int | cn下盘次数。 | | cn_spill_size | bigint | cn下盘总量。 单位：MB | | cn_spill_obs_size | bigint | cn下盘写OBS量。 单位：MB | | cn_write_obs_size | bigint | cn下盘直写OBS量。 单位：MB | | cn_write_obs_disk_size | bigint | cn下盘写本地磁盘量。 单位：MB | | disk_cache_hit_ratio | numeric | 磁盘缓存命中率。 | | disk_cache_disk_read_size | bigint | 磁盘缓存读取大小。 单位：B | | disk_cache_disk_write_size | bigint | 磁盘缓存写入大小。 单位：B | | disk_cache_remote_read_size | bigint | 磁盘缓存远程读取大小。 单位：B | | disk_cache_remote_read_time | bigint | 磁盘缓存远程读取次数。 单位：次 | | vfs_scan_bytes | bigint | OBS文件系统扫描字节数。 单位：B | | vfs_remote_read_bytes | bigint | OBS 文件系统远程读取字节数。 单位：B | | disk_cache_load_time | bigint | 磁盘缓存本地加载时间。 单位：us | | disk_cache_conflict_count | bigint | 磁盘缓存块哈希冲突次数。 单位：次 | | disk_cache_error_count | bigint | 磁盘缓存错误次数。 单位：次 | | disk_cache_error_code | bigint | 磁盘缓存错误码。 | | obs_io_req_avg_rtt | bigint | OBS IO请求平均往返时间。 单位：us | | obs_io_req_avg_latency | bigint | OBS IO请求平均延迟。 单位：us | | obs_io_req_latency_gt_1s | bigint | OBS IO请求延迟大于1秒的次数。 单位：次 | | obs_io_req_latency_gt_10s | bigint | 查询的OBS IO请求延迟大于10秒的次数。 单位：次 | | obs_io_req_count | bigint | OBS IO请求次数。 单位：次 | | obs_io_req_retry_count | bigint | OBS IO请求重试次数。 单位：次 | | obs_io_req_rate_limit_count | bigint | OBS IO请求速率限制次数。 单位：次 |