SQL执行监控
SQL监控数据详解
SQL监控数据中记录了查询作业的各项资源使用情况(包括内存、下盘、CN和DN时长、OBS访问时间、LakeFormation访问时间等)以及SQL执行计划信息(EXPLAIN/EXPLAIN PERFORMANCE)。
SQL监控数据对外展示的字段如下:
字段名称 |
子字段名称 |
类型 |
描述 |
---|---|---|---|
session_id |
- |
text |
语句的Session ID。 |
statement_id |
- |
text |
语句ID。 |
start_time |
- |
timestampt with zone |
语句起始时间。 |
finish_time |
- |
timestampt with zone |
语句上报时间/结束时间。 |
duration |
- |
bigint |
语句运行时间。 单位:ms |
cn_actor_info |
- |
text |
CN的Serverless信息。 |
actor_name |
text |
CN所在的Pod名称。 |
|
actor_ip |
text |
CN所在的Pod IP。 |
|
actor_id |
text |
CN在Pod中的名称。 |
|
dn_actor_info |
- |
text |
DN的Serverless信息。 |
actor_name |
text |
DN所在的Pod名称。 |
|
actor_ip |
text |
DN所在的Pod ID。 |
|
actor_id |
text |
DN在Pod中的名称。 |
|
startup_coordinator_duration |
- |
bigint |
启动CN时长。 单位:ms |
create_session_duration |
- |
bigint |
创建Session时长。 单位:ms |
enqueue_statement_duration |
- |
bigint |
语句加入任务队列时长。 单位:ms |
queue_duration |
- |
bigint |
语句在任务队列中排队时长。 单位:ms |
write_resultset_duration |
- |
bigint |
语句写结果集时长。 单位:ms |
queryid |
- |
bigint |
Debug Query的ID。 |
status |
- |
text |
语句状态。 |
abort_info |
- |
text |
报错信息。 |
schemaname |
- |
text |
语句执行时的Schema名称。 |
query |
- |
text |
语句。 |
query_plan |
- |
text |
GUC参数resource_track_level为query时是explain信息,为perf时是explain performance信息。 |
pid |
- |
bigint |
线程ID。 |
parse_time |
- |
bigint |
从解析到执行开始之前的时间。 单位:ms |
estimate_memory |
- |
int |
语句估计内存。 单位:MB |
dn_time |
- |
text |
DN时长信息。 |
min_dn_time |
bigint |
最小DN时长。 单位:ms |
|
max_dn_time |
bigint |
最大DN时长。 单位:ms |
|
average_dn_time |
bigint |
平均DN时长。 单位:ms |
|
dntime_skew_percent |
int |
DN时长偏斜百分比。 单位:% |
|
dn_cpu_time |
- |
text |
DN CPU时长 |
min_cpu_time |
bigint |
最小DN CPU时长。 单位:ms |
|
max_cpu_time |
bigint |
最大DN CPU时长。 单位:ms |
|
average_cpu_time |
bigint |
平均DN CPU时长。 单位:ms |
|
total_cpu_time |
bigint |
DN CPU总时长。 单位:ms |
|
cpu_skew_percent |
int |
DN CPU时长偏斜百分比。 单位:% |
|
dn_peak_memory |
- |
text |
DN峰值内存信息。 |
min_peak_memory |
int |
所有DN最小峰值内存。 单位:MB |
|
max_peak_memory |
int |
所有DN最大峰值内存。 单位:MB |
|
average_peak_memory |
int |
所有DN平均峰值内存。 单位:MB |
|
memory_skew_percent |
int |
内存倾斜率。 单位:% |
|
dn_spill_info |
- |
text |
DN下盘信息。 |
spill_info |
text |
下盘DN数量。 |
|
min_spill_size |
bigint |
最大下盘Size。 单位:MB |
|
max_spill_size |
bigint |
最小下盘Size。 单位:MB |
|
average_spill_size |
bigint |
平均下盘Size。 单位:MB |
|
spill_skew_percent |
int |
下盘倾斜率。 单位:% |
|
previous_billed_bytes |
- |
bigint |
原计费扫描量。 单位:B |
disk_cache_info |
- |
text |
缓存信息。 |
disk_cache_hit_ratio |
numeric |
磁盘缓存命中率。 |
|
disk_cache_disk_read_size |
bigint |
磁盘缓存读取大小。 单位:B |
|
disk_cache_disk_write_size |
bigint |
磁盘缓存写入大小。 单位:B |
|
disk_cache_remote_read_size |
bigint |
磁盘缓存远程读取大小。 单位:B |
|
disk_cache_remote_read_time |
bigint |
磁盘缓存远程读取次数。 单位:次 |
|
obs_info |
- |
text |
OBS信息。 |
vfs_scan_bytes |
bigint |
OBS v文件系统扫描字节数。 单位:B |
|
vfs_remote_read_bytes |
bigint |
OBS v文件系统远程读取字节数。 单位:B |
|
preload_submit_time |
bigint |
预加载提交时间。 单位:us |
|
preload_wait_time |
bigint |
预加载等待时间。 单位:us |
|
preload_wait_count |
bigint |
预加载等待次数。 单位:次 |
|
disk_cache_load_time |
bigint |
磁盘缓存本地加载时间。 单位:us |
|
disk_cache_conflict_count |
bigint |
磁盘缓存块哈希冲突次数。 单位:次 |
|
disk_cache_error_count |
bigint |
磁盘缓存错误次数。 单位:次 |
|
disk_cache_error_code |
bigint |
磁盘缓存错误码。 |
|
obs_io_req_avg_rtt |
bigint |
OBS IO请求平均往返时间。 单位:us |
|
obs_io_req_avg_latency |
bigint |
OBS IO请求平均延迟。 单位:us |
|
obs_io_req_latency_gt_1s |
bigint |
OBS IO请求延迟大于1秒的次数。 单位:次 |
|
obs_io_req_latency_gt_10s |
bigint |
查询的OBS IO请求延迟大于10秒的次数。 单位:次 |
|
obs_io_req_count |
bigint |
OBS IO请求次数。 单位:次 |
|
obs_io_req_count |
bigint |
OBS IO请求重试次数。 单位:次 |
|
obs_io_req_rate_limit_count |
bigint |
OBS IO请求速率限制次数。 单位:次 |
当前SQL监控数据存放在结果集OBS桶中,和结果集文件夹同目录,可以在华为云网站中找到OBS服务打开,根据当前查询的结果集路径找到同目录下的对应SQL监控数据文件并下载查看。SQL监控数据文件打开后如下所示: