文档首页/ 数据仓库服务 GaussDB(DWS)/ 最佳实践/ 数据库管理/ 数据倾斜查询优秀实践/ 快速定位查询存储倾斜的表
更新时间：2024-06-25 GMT+08:00
查看PDF
分享

快速定位查询存储倾斜的表

目前提供的倾斜查询接口有函数：table_distribution(schemaname text, tablename text) 、table_distribution() 以及视图PGXC_GET_TABLE_SKEWNESS，客户可以根据自身业务情况来选择使用。

场景一：磁盘满后快速定位存储倾斜的表

首先，通过pg_stat_get_last_data_changed_time(oid)函数查询出近期发生过数据变更的表，介于表的最后修改时间只在进行IUD操作的CN记录，要查询库内1天（间隔可在函数中调整）内被修改的所有表，可以使用如下封装函数：

CREATE OR REPLACE FUNCTION get_last_changed_table(OUT schemaname text, OUT relname text)
RETURNS setof record
AS $$
DECLARE
row_data record;
row_name record;
query_str text;
query_str_nodes text;
BEGIN
query_str_nodes := 'SELECT node_name FROM pgxc_node where node_type = ''C''';
FOR row_name IN EXECUTE(query_str_nodes) LOOP
query_str := 'EXECUTE DIRECT ON (' || row_name.node_name || ') ''SELECT b.nspname,a.relname FROM pg_class a INNER JOIN pg_namespace b on a.relnamespace = b.oid where pg_stat_get_last_data_changed_time(a.oid) BETWEEN current_timestamp - 1 AND current_timestamp;''';
FOR row_data IN EXECUTE(query_str) LOOP
schemaname = row_data.nspname;
relname = row_data.relname;
return next;
END LOOP;
END LOOP;
return;
END; $$
LANGUAGE plpgsql;

然后，通过table_distribution(schemaname text, tablename text)查询出表在各个DN占用的存储空间。

1
 
SELECT table_distribution(schemaname,relname) FROM get_last_changed_table();

场景二：常规数据倾斜巡检

  • 在库中表个数少于1W的场景，直接使用倾斜视图查询当前数据库内所有表的数据倾斜情况。 
    1
    		 
    SELECT * FROM pgxc_get_table_skewness ORDER BY totalsize DESC;
  • 在库中表个数非常多（至少大于1W）的场景，因PGXC_GET_TABLE_SKEWNESS涉及全库查并计算非常全面的倾斜字段，所以可能会花费比较长的时间（小时级），建议参考PGXC_GET_TABLE_SKEWNESS视图定义，直接使用table_distribution()函数自定义输出，减少输出列进行计算优化，例如： 
    1
2
3
4
5
6
    		 
    SELECT schemaname,tablename,max(dnsize) AS maxsize, min(dnsize) AS minsize 
FROM pg_catalog.pg_class c 
INNER JOIN pg_catalog.pg_namespace n ON n.oid = c.relnamespace 
INNER JOIN pg_catalog.table_distribution() s ON s.schemaname = n.nspname AND s.tablename = c.relname 
INNER JOIN pg_catalog.pgxc_class x ON c.oid = x.pcrelid AND x.pclocatortype = 'H' 
GROUP BY schemaname,tablename;

场景三：查询某个表的数据倾斜情况

执行以下SQL查询某个表的数据倾斜情况，其中table_name替换为实际的表名。

1
 
SELECT a.count,b.node_name FROM (SELECT count(*) AS count,xc_node_id FROM table_name GROUP BY xc_node_id) a, pgxc_node b WHERE a.xc_node_id=b.node_id ORDER BY a.count desc;

返回如下类似信息。若各DN上数据分布差小于10%，表明数据分布均衡。若大于10%，则表示数据出现倾斜。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
 
SELECT a.count,b.node_name FROM (select count(*) as count,xc_node_id FROM staffs GROUP BY xc_node_id) a, pgxc_node b WHERE a.xc_node_id=b.node_id ORDER BY a.count desc;
count | node_name
------+-----------
11010 | datanode4
10000 | datanode3
12001 | datanode2
 8995 | datanode1
10000 | datanode5
 7999 | datanode6
 9995 | datanode7
10000 | datanode8
(8 rows)

相关文档