SQL执行监控

SQL历史监控数据详解

SQL历史监控数据中记录了查询作业的各项资源使用情况（包括内存、下盘、CN和DN时长、OBS访问时间、LakeFormation访问时间等）以及SQL执行计划信息（EXPLAIN/EXPLAIN PERFORMANCE），且历史监控数据只有在SQL语句执行结束后才会生成。

SQL历史监控数据对外展示的字段如下：

表1 SQL历史监控数据对外展示的字段
字段名称	子字段名称	类型	描述
session_id	-	text	语句的Session ID。
statement_id	-	text	语句ID。
start_time	-	timestampt with zone	语句起始时间。
finish_time	-	timestampt with zone	语句上报时间/结束时间。
duration	-	bigint	语句运行时间。单位：ms
cn_actor_info	-	text	CN的Serverless信息。
	actor_name	text	CN所在的Pod名称。
	actor_ip	text	CN所在的Pod IP。
	actor_id	text	CN在Pod中的名称。
dn_actor_info	-	text	DN的Serverless信息。
	actor_name	text	DN所在的Pod名称。
	actor_ip	text	DN所在的Pod ID。
	actor_id	text	DN在Pod中的名称。
startup_coordinator_duration	-	bigint	启动CN时长。单位：ms
create_session_duration	-	bigint	创建Session时长。单位：ms
enqueue_statement_duration	-	bigint	语句加入任务队列时长。单位：ms
queue_duration	-	bigint	语句在任务队列中排队时长。单位：ms
write_resultset_duration	-	bigint	语句写结果集时长。单位：ms
queryid	-	bigint	Debug Query的ID。
status	-	text	语句状态。
abort_info	-	text	报错信息。
schemaname	-	text	语句执行时的Schema名称。
query	-	text	语句。
query_plan	-	text	GUC参数resource_track_level为query时是explain信息，为perf时是explain performance信息。
tid	-	bigint	线程ID。
parse_time	-	bigint	从解析到执行开始之前的时间。单位：ms
estimate_memory	-	int	语句估计内存。单位：MB
dn_time	-	text	DN时长信息。
	min_dn_time	bigint	最小DN时长。单位：ms
	max_dn_time	bigint	最大DN时长。单位：ms
	average_dn_time	bigint	平均DN时长。单位：ms
	dntime_skew_percent	int	DN时长偏斜百分比。单位：%
dn_cpu_time	-	text	DN CPU时长
	min_cpu_time	bigint	最小DN CPU时长。单位：ms
	max_cpu_time	bigint	最大DN CPU时长。单位：ms
	average_cpu_time	bigint	平均DN CPU时长。单位：ms
	total_cpu_time	bigint	DN CPU总时长。单位：ms
	cpu_skew_percent	int	DN CPU时长偏斜百分比。单位：%
dn_peak_memory	-	text	DN峰值内存信息。
	min_peak_memory	int	所有DN最小峰值内存。单位：MB
	max_peak_memory	int	所有DN最大峰值内存。单位：MB
	average_peak_memory	int	所有DN平均峰值内存。单位：MB
	memory_skew_percent	int	内存倾斜率。单位：%
cn_spill_info	-	text	CN下盘信息。
	spill_count	bigint	CN下盘次数。
	spill_size	bigint	CN下盘大小。单位：MB
	spill_obs_size	bigint	CN下盘OBS大小。单位：MB
	write_obs_size	bigint	CN直写OBS大小。单位：MB
	write_disk_size	bigint	CN写本地磁盘大小。单位：MB
dn_spill_info	-	text	DN下盘信息。
	spill_dn_num	int	下盘DN数量。
	spill_count	int	DN下盘总次数
	min_spill_size	bigint	最大下盘Size。单位：MB
	max_spill_size	bigint	最小下盘Size。单位：MB
	average_spill_size	bigint	平均下盘Size。单位：MB
	spill_skew_percent	int	下盘倾斜率。单位：%
	write_disk_total_size	bigint	DN下盘写本地磁盘总量。单位：MB
	write_disk_max_size	bigint	DN最大写本地磁盘量。单位：MB
	write_disk_min_size	bigint	DN最小写本地磁盘量。单位：MB
	spill_obs_total_size	bigint	DN下盘写OBS总量。单位：MB
	spill_obs_max_size	bigint	DN最大下盘写OBS量。单位：MB
	spill_obs_min_size	bigint	DN最小下盘写OBS量。单位：MB
	write_obs_total_size	bigint	DN直写OBS总量。单位：MB
	write_obs_max_size	bigint	DN最大直写OBS量。单位：MB
	write_obs_min_size	bigint	DN最小直写OBS量。单位：MB
disk_cache_info	-	text	缓存信息。
	disk_cache_hit_ratio	numeric	磁盘缓存命中率。
	disk_cache_disk_read_size	bigint	磁盘缓存读取大小。单位：B
	disk_cache_disk_write_size	bigint	磁盘缓存写入大小。单位：B
	disk_cache_remote_read_size	bigint	磁盘缓存远程读取大小。单位：B
	disk_cache_remote_read_time	bigint	磁盘缓存远程读取次数。单位：次
obs_info	-	text	OBS信息。
	vfs_scan_bytes	bigint	OBS v文件系统扫描字节数。单位：B
	vfs_remote_read_bytes	bigint	OBS v文件系统远程读取字节数。单位：B
	disk_cache_load_time	bigint	磁盘缓存本地加载时间。单位：us
	disk_cache_conflict_count	bigint	磁盘缓存块哈希冲突次数。单位：次
	disk_cache_error_count	bigint	磁盘缓存错误次数。单位：次
	disk_cache_error_code	bigint	磁盘缓存错误码。
	obs_io_req_avg_rtt	bigint	OBS IO请求平均往返时间。单位：us
	obs_io_req_avg_latency	bigint	OBS IO请求平均延迟。单位：us
	obs_io_req_latency_gt_1s	bigint	OBS IO请求延迟大于1秒的次数。单位：次
	obs_io_req_latency_gt_10s	bigint	查询的OBS IO请求延迟大于10秒的次数。单位：次
	obs_io_req_count	bigint	OBS IO请求次数。单位：次
	obs_io_req_retry_count	bigint	OBS IO请求重试次数。单位：次
	obs_io_req_rate_limit_count	bigint	OBS IO请求速率限制次数。单位：次
yr_info	-	text	YR接口调用信息。
	total_call	bigint	调用的总次数。
	failed_call	bigint	调用失败的次数。
	avg_call_during	bigint	平均调用时长。单位：毫秒
	min_call_during	bigint	最小调用时长。单位：毫秒
	max_call_during	bigint	最大调用时长。单位：毫秒
	total_data	bigint	总数据量。单位：字节
	avg_data_rate	bigint	平均数据处理速率。单位：每毫秒字节数
	min_data_rate	bigint	最小数据处理速率。单位：每毫秒字节数
	max_data_rate	bigint	最大数据处理速率。单位：每毫秒字节数

当前SQL监控数据存放在结果集OBS桶中，和结果集文件夹同目录，可以在华为云网站中找到OBS服务打开，根据当前查询的结果集路径找到同目录下的对应SQL监控数据文件并下载查看。SQL监控数据文件打开后如下所示：

图1 SQL历史监控信息文件内容
点击放大

SQL实时监控数据详解

SQL实时监控数据中同样记录了查询作业的各项资源使用情况（包括内存、下盘、CN和DN时长、OBS访问时间、LakeFormation访问时间等）以及SQL执行计划信息（EXPLAIN/EXPLAIN PERFORMANCE），但SQL实时监控数据只能获取正在执行的语句的信息，对于执行结束的语句无法获取信息。

使用方式：select * from gs_wlm_session_statistics();

SQL实时监控数据对外展示的字段如下：

表2 SQL实时监控数据对外展示的字段
字段名称	类型	描述
session_id	text	语句的Session ID。
statement_id	text	语句ID。
start_time	timestampt with zone	语句起始时间。
duration	bigint	语句运行时间。单位：ms
estimate_total_time	bigint	估计的语句运行时长。单位：ms
estimate_left_time	bigint	估计语句剩余运行时长单位：ms
cn_actor_info	text	CN的Serverless 信息。
dn_actor_info	text	DN的Serverless信息。
startup_coordinator_duration	bigint	启动CN时长。单位：ms
create_session_duration	bigint	创建Session时长。单位：ms
enqueue_statement_duration	bigint	语句加入任务队列时长。单位：ms
queue_duration	bigint	语句在任务队列中排队时长。单位：ms
write_resultset_duration	bigint	语句写结果集时长。单位：ms
queryid	bigint	Debug Query的ID。
schemaname	text	语句执行时的Schema名称。
query	text	语句。
query_plan	text	explain信息
tid	bigint	线程ID。
parse_time	bigint	从解析到执行开始之前的时间。单位：ms
estimate_memory	int	语句估计内存。单位：MB
min_dn_time	bigint	最小DN时长。单位：ms
max_dn_time	bigint	最大DN时长。单位：ms
average_dn_time	bigint	平均DN时长。单位：ms
dn_time_skew_percent	int	DN时长偏斜百分比。单位：%
dn_min_cpu_time	bigint	最小DN CPU时长。单位：ms
dn_max_cpu_time	bigint	最大DN CPU时长。单位：ms
dn_average_cpu_time	bigint	平均DN CPU时长。单位：ms
dn_total_cpu_time	bigint	DN CPU总时长。单位：ms
dn_cpu_skew_percent	int	DN CPU时长偏斜百分比。单位：%
dn_min_peak_memory	int	所有DN最小峰值内存。单位：MB
dn_max_peak_memory	int	所有DN最大峰值内存。单位：MB
dn_average_peak_memory	int	所有DN平均峰值内存。单位：MB
dn_memory_skew_percent	int	内存倾斜率。单位：%
dn_spill_)num	int	下盘DN数量。
dn_spill_count	int	下盘DN次数总量。
dn_min_spill_size	bigint	最大下盘Size。单位：MB
dn_max_spill_size	bigint	最小下盘Size。单位：MB
dn_average_spill_size	bigint	平均下盘Size。单位：MB
dn_spill_skew_percent	int	下盘倾斜率。单位：%
dn_write_disk_total_size	bigint	dn下盘写磁盘总量。单位：MB
dn_write_disk_max_size	bigint	dn最大下盘写磁盘量。单位：MB
dn_write_disk_min_size	bigint	dn最小下盘写磁盘量。单位：MB
dn_spill_obs_total_size	bigint	dn下盘写OBS总量。单位：MB
dn_spill_obs_max_size	bigint	dn最大下盘写OBS量。单位：MB
dn_spill_obs_min_size	bigint	dn最小下盘写OBS量。单位：MB
dn_write_obs_total_size	bigint	dn下盘直写OBS总量。单位：MB
dn_write_obs_max_size	bigint	dn下盘最大直写OBS量。单位：MB
dn_write_obs_min_size	bigint	dn下盘最小直写OBS量。单位：MB
cn_spill_count	int	cn下盘次数。
cn_spill_size	bigint	cn下盘总量。单位：MB
cn_spill_obs_size	bigint	cn下盘写OBS量。单位：MB
cn_write_obs_size	bigint	cn下盘直写OBS量。单位：MB
cn_write_obs_disk_size	bigint	cn下盘写本地磁盘量。单位：MB
disk_cache_hit_ratio	numeric	磁盘缓存命中率。
disk_cache_disk_read_size	bigint	磁盘缓存读取大小。单位：B
disk_cache_disk_write_size	bigint	磁盘缓存写入大小。单位：B
disk_cache_remote_read_size	bigint	磁盘缓存远程读取大小。单位：B
disk_cache_remote_read_time	bigint	磁盘缓存远程读取次数。单位：次
vfs_scan_bytes	bigint	OBS v文件系统扫描字节数。单位：B
vfs_remote_read_bytes	bigint	OBS v文件系统远程读取字节数。单位：B
disk_cache_load_time	bigint	磁盘缓存本地加载时间。单位：us
disk_cache_conflict_count	bigint	磁盘缓存块哈希冲突次数。单位：次
disk_cache_error_count	bigint	磁盘缓存错误次数。单位：次
disk_cache_error_code	bigint	磁盘缓存错误码。
obs_io_req_avg_rtt	bigint	OBS IO请求平均往返时间。单位：us
obs_io_req_avg_latency	bigint	OBS IO请求平均延迟。单位：us
obs_io_req_latency_gt_1s	bigint	OBS IO请求延迟大于1秒的次数。单位：次
obs_io_req_latency_gt_10s	bigint	查询的OBS IO请求延迟大于10秒的次数。单位：次
obs_io_req_count	bigint	OBS IO请求次数。单位：次
obs_io_req_retry_count	bigint	OBS IO请求重试次数。单位：次
obs_io_req_rate_limit_count	bigint	OBS IO请求速率限制次数。单位：次

父主题： SQL调优

上一篇：执行计划算子

下一篇：SQL调优流程

意见反馈

文档内容是否对您有帮助？

有帮助没帮助

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消