VACUUM
功能描述
VACUUM回收表或B-Tree索引中已经删除的行所占据的存储空间。在一般的数据库操作里,那些已经DELETE的行并没有从它们所属的表中物理删除;在完成VACUUM之前它们仍然存在。因此有必要周期地运行VACUUM,特别是在经常更新的表上。
注意事项
- 如果没有参数,VACUUM处理当前数据库里用户拥有相应权限的每个表。如果参数指定了一个表,VACUUM只处理指定的表。
- 要对一个表进行VACUUM操作,通常用户必须是表的所有者或者被授予了指定表VACUUM权限的用户,三权分立开关关闭时,默认系统管理员有该权限。数据库的所有者允许对数据库中除了共享目录以外的所有表进行VACUUM操作(该限制意味着只有系统管理员才能真正对一个数据库进行VACUUM操作)。VACUUM命令会跳过那些用户没有权限的表进行垃圾回收操作。
- VACUUM不能在事务块内执行。
- 建议生产数据库经常清理(至少每晚一次),以保证不断地删除失效的行。尤其是在增删了大量记录之后,对受影响的表执行VACUUM ANALYZE命令是一个很好的习惯。这样将更新系统目录为最近的更改,并且允许查询优化器在规划用户查询时有更好地选择。
- 不建议日常使用FULL选项,但是可以在特殊情况下使用。例如在用户删除了一个表的大部分行之后,希望从物理上缩小该表以减少磁盘空间占用。VACUUM FULL通常要比单纯的VACUUM收缩更多的表尺寸。FULL选项并不清理索引,所以推荐周期性的运行REINDEX命令。如果执行此命令后所占用物理空间无变化(未减少),请确认是否有其他活跃事务(删除数据事务开始之前开始的事务,并在VACUUM FULL执行前未结束)存在,如果有等其他活跃事务退出进行重试。
- VACUUM FULL通过重建表的方式将表内空闲空间归还给表空间,重建过程需要额外申请表中有效数据相当的存储空间。对于非段页式表,VACUUM FULL执行结束后,原表所占物理文件会被删除,原表所占的物理文件的空间会归还给操作系统;对于段页式表,VACUUM FULL执行结束后,原表所占的物理空间,会被归还给段页式数据文件,不会归还给操作系统。
- VACUUM会导致I/O流量的大幅增加,这可能会影响其他活动会话的性能。因此,有时候会建议使用基于开销的VACUUM延迟特性。
- 如果指定了VERBOSE选项,VACUUM将打印处理过程中的信息,以表明当前正在处理的表。各种有关当前表的统计信息也会打印出来。
- 当含有带括号的选项列表时,选项可以以任何顺序写入。如果没有括号,则选项必须按语法显示的顺序给出。
- VACUUM和VACUUM FULL时,会根据参数vacuum_defer_cleanup_age延迟清理行存表记录,即不会立即清理刚刚删除的元组。
- VACUUM ANALYZE先执行一个VACUUM操作,然后给每个选定的表执行一个ANALYZE。对于日常维护脚本而言,这是一个很方便的组合。
- 简单的VACUUM(不带FULL选项)只是简单地回收空间并且令其可以再次使用。这种形式的命令可以和对表的普通读写并发操作,因为没有请求排他锁。VACUUM FULL执行更广泛的处理,包括跨块移动行,以便把表压缩到最少的磁盘块数目里。这种形式要慢许多并且在处理的时候需要在表上施加一个排他锁。
- 同时执行多个VACUUM FULL可能出现死锁。
- 如果没有打开xc_maintenance_mode参数,那么VACUUM FULL操作将跳过所有系统表。
- 执行DELETE后立即执行VACUUM FULL命令不会回收空间。执行DELETE后再执行1000个非SELECT事务,或者等待1s后再执行1个事务,之后再执行VACUUM FULL命令空间才会回收。
- VACUUM FULL期间会对表加排他锁,不建议在业务高峰期运行VACUUM FULL,可能导致等待时间过长或者业务中断。
- 在线VACUUM FULL不支持对数据库级、索引级、段页式表、hashbucket表、临时表、Unlogged表、HTAP表等对象执行。若涉及以上不支持类型,ONLINE关键字将不生效,VACUUM FULL默认以离线方式执行,并提示当前语句不支持在线执行。
- 执行在线VACUUM FULL时,需预留足够的磁盘空间,即剩余空间应大于被操作表及其附属对象(如索引等)的总大小。
- 若用户取消在线VACUUM FULL执行过程,系统将进入残留清理流程;若再次取消,则会结束清理流程导致残留。
- 在线VACUUM FULL与用户业务之间存在资源争抢,不适合在业务高峰期执行。对于资源有限的场景,建议采用细粒度资源管控,且不建议启用并行加速功能。
- 在线VACUUM FULL不支持FREEZE关键字。若同时指定FREEZE与ONLINE关键字,VACUUM FULL默认以离线方式执行,并提示当前语句不支持在线执行。
- 在线VACUUM FULL不支持在事务内执行(通过JDBC驱动执行多条SQL时会隐式启动事务,禁止多条SQL一起执行),也不支持在存储过程中执行。
- 若在线VACUUM FULL操作失败,表上可能会有明显的存储空间膨胀,膨胀程度与VACUUM FULL执行时长及并发写操作量成正比。长事务可能阻塞在线VACUUM FULL,建议避免在长事务存在时执行。
- 在线VACUUM FULL执行后期将阻塞DQL、DML操作。
- 在线VACUUM FULL执行期间应尽量避免与其他DDL并发执行,否则可能出现死锁或报错;若出现此类情况,可重新连接客户端重试。
- 在线VACUUM FULL过程中会生成名为“online$$ddl$$[hash值]”的模式。
- 此模式的属主默认为初始用户。不建议在操作过程中对该模式进行操作,否则可能导致中止并产生未知错误;也不建议查询该模式下的表。gs_dump默认不导出此Schema。
- 用户不可创建以“online$$”为前缀的模式,否则会报错。若已存在同名模式冲突,在线VACUUM FULL将不生效,默认以离线方式执行,并提示因模式名冲突不可在线。
- 除VACUUM ANALYZE语句,其他VACUUM操作,在原有行为不变更的情况下,不会在统计信息中上报分区表主表的relpages/reltuples字段信息。
语法格式
- 回收空间并更新统计信息,对关键字顺序无要求。
VACUUM [ ( { FULL | FREEZE | VERBOSE | {ANALYZE }} [,...] ) ] [ table_name [ (column_name [, ...] ) ] [ PARTITION ( partition_name ) | SUBPARTITION ( subpartition_name ) ] ] [ WITH ( online_parameter = value [ , ... ] ) ]; - 仅回收空间,不更新统计信息。
VACUUM [ FULL ] [ FREEZE ] [ VERBOSE ] [ table_name [ PARTITION ( partition_name ) | SUBPARTITION ( subpartition_name ) ] ] [ WITH ( online_parameter = value [ , ... ] ) ]; - 回收空间并更新统计信息,且对关键字顺序有要求。
VACUUM [ FULL ] [ FREEZE ] [ VERBOSE ] { ANALYZE } [ VERBOSE ] [ table_name [ (column_name [, ...] ) ] ] [ PARTITION ( partition_name ) | SUBPARTITION ( subpartition_name ) ] [ WITH ( online_parameter = value [ , ... ] ) ];
参数说明
- FULL
选择“FULL”清理,这样可以恢复更多的空间,但是需要耗时更多,并且在表上施加了排他锁。
使用FULL参数会导致统计信息丢失,如果需要收集统计信息,请在VACUUM FULL语句中加上analyze关键字。
- FREEZE
指定FREEZE相当于执行VACUUM时将vacuum_freeze_min_age参数设为0。
- VERBOSE
为每个表打印一份详细的清理工作报告。
- ANALYZE
更新用于优化器的统计信息,以决定执行查询的最有效方法。
ustore分区表会触发vacuum。
- table_name
要清理的表的名称(可以有模式修饰)。
取值范围:要清理的表的名称。缺省时为当前数据库中的所有表。
- column_name
要分析的具体的字段名称,需要配合analyze选项使用。
取值范围:要分析的具体的字段名称。缺省时为所有字段。
由于VACUUM ANALYZE语句的机制是依次执行VACUUM和ANALYZE,因此当column_name错误时,会存在VACUUM执行成功但ANALYZE执行失败的情况;对于分区表,则会出现对某个分区VACUUM执行成功之后ANALYZE执行失败的情况。
- partition_name
要清理的表的一级分区名称。缺省时为所有一级分区。
- subpartition_name
要清理的表的二级分区名称。缺省时为所有二级分区。
VACUUM FULL使用ANALYZE更新统计信息时,SUBPARTITION (subpartition_name)仅支持在线VACUUM FULL使用。
- online_parameter
VACUUM FULL执行选项,指定是否在线执行VACUUM FULL,启用在线执行时支持设置其他参数选项。
取值范围:
- online:控制是否在线执行VACUUM FULL。
- online=true时表示在线执行,可使用以下选项指定在线VACUUM FULL参数选项。
- online=false时表示离线执行,语义与不设置此选项相同。此时,其它online_parameter选项均不生效。
- parallel_threads:控制多线程并行,用于在资源充足的情况下追求更高性能。1-32之间的整数值,缺省时默认值为1。
- 当用户开启资源管控时,如IO资源管控(io_limits>0或io_priority = high/medium/low),parallel_threads将忽略用户/会话下的资源管控,并给出提示当前资源管控无效并开启多线程加速。在线VACUUM FULL多线程执行实际遵循初始用户的资源管控。
- 可以与索引并行参数parallel_workers共同生效。parallel_workers控制VACUUM FULL期间索引构建的并行度,parallel_threads参数控制VACUUM FULL期间追增的并行度。
- max_catchup_times:控制最大追增轮次,用于防止VACUUM FULL执行时间过长。1-INT_MAX之间的整数值,缺省时默认值为50。
- 在线VACUUM FULL会记录数据重建过程中的IUD增量数据到临时表,并采用多轮次循环追增,将增量数据进行重建。为防止由于IUD并发数据量过大,VACUUM FULL无法完成追增的情况,用户可以设置该参数,以限制追增次数。
- last_catchup_threshold:触发最后一轮的追增时间上限。即当完成一轮追增后,该轮完成追增耗时小于该阈值时,即可触发最后一轮追增和切换。
单位:毫秒;
默认值:5000。
- online_ddl_lockwait_timeout:用于设置在线DDL操作等待锁的超时时间。若等待锁的线程在该时间内未能获取锁,则报错并提示锁超时。当触发CANCEL模式尝试获取锁时,实际使用的超时时间为该参数值的2倍。
单位:毫秒;
默认值:10000。
- lockwait_interval:等锁步长,用于控制连续拿锁超时时的重试间隔。若当前轮次等锁超时,则等待该参数指定的时长后再进行下一轮尝试。
单位:秒;
默认值:5。
- trylock_threshold:用于设置等锁尝试次数的上限。需和enable_cancel参数同时使用。当等锁尝试次数达到此上限后,若仍因锁超时而无法获取锁,则下一次尝试将采用CANCEL模式。未开启enable_cancel时,则达到最大次数后取锁失败并报错。
默认值:-1。
- enable_cancel:是否允许用户业务快速失败。当达到等锁尝试次数上限,或在切换表事务获取用户表8级锁时,可通过快速中止用户业务来确保在线DDL成功获取锁。
默认值:false。
- online:控制是否在线执行VACUUM FULL。
示例
--创建SCHEMA。 m_db=# CREATE SCHEMA tpcds; --创建表tpcds.reason。 m_db=# CREATE TABLE tpcds.reason ( r_reason_sk integer, r_reason_id character(16), r_reason_desc character(100) ); --向表中插入多条记录。 m_db=# INSERT INTO tpcds.reason values(1,'AAAAAAAABAAAAAAA','reason 1'),(2,'AAAAAAAABAAAAAAA','reason 2'); --在表tpcds.reason上创建索引。 m_db=# CREATE UNIQUE INDEX ds_reason_index1 ON tpcds.reason(r_reason_sk); --对带索引的表tpcds.reason执行VACUUM操作。 m_db=# VACUUM (VERBOSE, ANALYZE) tpcds.reason; --删除索引。 m_db=# DROP INDEX tpcds.ds_reason_index1 CASCADE; m_db=# DROP TABLE tpcds.reason; m_db=# DROP SCHEMA tpcds; -- 在线VACUUM FULL db_m=# CREATE TABLE vf_test(c1 int); CREATE TABLE -- 插入10万条数据并查看表的大小。 db_m=# INSERT INTO vf_test VALUES (generate_series(1,100000)); INSERT 0 100000 db_m=# SELECT 'vf_test' AS tablename, pg_size_pretty(pg_relation_size('vf_test')) AS size; tablename | size -----------+--------- vf_test | 3048 kB (1 row) -- 删除数据并查看表大小。 db_m=# DELETE FROM vf_test; DELETE 100000 db_m=# SELECT 'vf_test' AS tablename, pg_size_pretty(pg_relation_size('vf_test')) AS size; tablename | size -----------+--------- vf_test | 3048 kB (1 row) -- 使用在线VACUUM FULL回收空间,并查看表的大小。 db_m=# VACUUM FULL ANALYZE vf_test WITH(online=true); VACUUM db_m=# SELECT 'vf_test' AS tablename, pg_size_pretty(pg_relation_size('vf_test')) AS size; tablename | size -----------+--------- vf_test | 0 bytes (1 row) --使用在线VACUUM FULL并设置online_parameter。 db_m=# VACUUM FULL ANALYZE vf_test with(online=true, parallel_threads=10, max_catchup_times=20, last_catchup_threshold=3000, online_ddl_lockwait_timeout=10, lockwait_interval=10, trylock_threshold=1, enable_cancel=true); VACUUM -- 删除。 db_m=# DROP TABLE vf_test; DROP TABLE
优化建议
- vacuum
- VACUUM不能在事务块内执行。
- 建议生产数据库经常清理(至少每晚一次),以保证不断地删除失效的行。尤其是在增删了大量记录后,对相关表执行VACUUM ANALYZE命令。
- 不建议日常使用FULL选项,但是可以在特殊情况下使用。例如,一个例子就是在用户删除了一个表的大部分行之后,希望从物理上缩小该表以减少磁盘空间占用。