更新时间:2024-11-11 GMT+08:00

VACUUM

功能描述

VACUUM回收表或B-Tree索引中已经删除的行所占据的存储空间。在一般的数据库操作里,那些已经DELETE的行并没有从它们所属的表中物理删除;在完成VACUUM之前它们仍然存在。因此有必要周期地运行VACUUM,特别是在经常更新的表上。

注意事项

  • 如果没有参数,VACUUM处理当前数据库里用户拥有相应权限的每个表。如果参数指定了一个表,VACUUM只处理指定的那个表。
  • 要对一个表进行VACUUM操作,通常用户必须是表的所有者,被授予了指定表VACUUM权限的用户或者被授予了gs_role_vacuum_any角色的用户,系统管理员默认拥有此权限。数据库的所有者允许对数据库中除了共享目录以外的所有表进行VACUUM操作(该限制意味着只有系统管理员才能真正对一个数据库进行VACUUM操作)。VACUUM命令会跳过那些用户没有权限的表进行垃圾回收操作。
  • VACUUM不能在事务块内执行。
  • 建议生产数据库经常清理(至少每晚一次),以保证不断地删除失效的行。尤其是在增删了大量记录之后,对受影响的表执行VACUUM ANALYZE命令是一个很好的习惯。这样将更新系统目录为最近的更改,并且允许查询优化器在规划用户查询时有更好的选择。
  • 不建议日常使用FULL选项,但是可以在特殊情况下使用。例如在用户删除了一个表的大部分行之后,希望从物理上缩小该表以减少磁盘空间占用。VACUUM FULL通常要比单纯的VACUUM收缩更多的表尺寸。如果执行此命令后所占用物理空间无变化(未减少),请确认是否有其他活跃事务(删除数据事务开始之前开始的事务,并在VACUUM FULL执行前未结束)存在,如果有等其他活跃事务退出进行重试。
  • VACUUM会导致I/O流量的大幅增加,这可能会影响其他活动会话的性能。因此,有时候会建议使用基于开销的VACUUM延迟特性。
  • 如果指定了VERBOSE选项,VACUUM将打印处理过程中的信息,以表明当前正在处理的表。各种有关当前表的统计信息也会打印出来。
  • 语法格式中含有带括号的选项列表时,选项可以以任何顺序写入。如果没有括号,则选项必须按语法显示的顺序给出。
  • VACUUM和VACUUM FULL时,会根据参数vacuum_defer_cleanup_age延迟清理行存表记录,即不会立即清理刚刚删除的元组。
  • VACUUM ANALYZE先执行一个VACUUM操作,然后给每个选定的表执行一个ANALYZE。对于日常维护脚本而言,这是一个很方便的组合。
  • 简单的VACUUM(不带FULL选项)只是简单地回收空间并且令其可以再次使用。这种形式的命令可以和对表的普通读写并发操作,因为没有请求排他锁。VACUUM FULL执行更广泛的处理,包括跨块移动行,以便把表压缩到最少的磁盘块数目里。这种形式要慢许多并且在处理的时候需要在表上施加一个排他锁。
  • VACUUM列存表内部执行的操作包括三个:迁移delta表中的数据到主表、VACUUM主表的delta表、VACUUM主表的desc表。该操作不会回收delta表的存储空间,如果要回收delta表的冗余存储空间,需要对该列存表执行VACUUM DELTAMERGE。
  • VACUUM FULL系统表只能离线操作,在线VACUUM FULL系统表除了会锁表,还可能导致一些异常情况并产生报错。
  • 如果有长查询访问系统表,此时执行VACUUM FULL,长查询可能会阻塞VACUUM FULL连接访问系统表,导致连接超时报错。
  • 对列存分区表执行VACUUM FULL,会同时锁表和锁分区。
  • 对不同的系统表执行VACUUM FULL并发操作可能会导致本地死锁。
  • VACUUM FULL操作分区表时与用户DML语句在如下特定场景有并发时可能发生分布式死锁,请谨慎操作:
    • VACUUM FULL子分区与insert/update/delete主表。
    • VACUUM FULL全表与select全表/select子分区。
  • 对表执行VACUUM FULL操作时会触发表重建(表重建过程中会先把数据转储到一个新的数据文件中,重建完成之后会删除原始文件),当表比较大时,重建会消耗较多的磁盘空间。当磁盘空间不足时,要谨慎对待大表VACUUM FULL操作,防止触发集群只读。
  • 定期对脏页率、小CU占比超过25%的表执行VACUUM FULL,普通表需在低峰期执行,系统表需离线执行。
  • 更多开发设计规范参见总体开发设计规范

语法格式

  • 回收空间并更新统计信息,关键字顺序必须按语法显示的顺序给出。
    1
    2
    VACUUM [ ( { FULL | FREEZE | VERBOSE | {ANALYZE | ANALYSE }} [,...] ) ]
        [ table_name [ (column_name [, ...] ) ] ] [ PARTITION ( partition_name ) ];
    
  • 仅回收空间,不更新统计信息。
    1
    VACUUM [ FULL [COMPACT] ] [ FREEZE ] [ VERBOSE ] [ table_name ] [ PARTITION ( partition_name ) ];
    
  • 回收空间并更新统计信息,且对关键字顺序有要求。
    1
    2
    VACUUM [ FULL ] [ FREEZE ] [ VERBOSE ] { ANALYZE | ANALYSE } [ VERBOSE ] 
        [ table_name [ (column_name [, ...] ) ] ] [ PARTITION ( partition_name ) ];
    
  • 针对HDFS表,将delta table中的数据转移到主表存储。(partition_name参数仅8.2.1.300及以上集群版本支持)
    1
    VACUUM DELTAMERGE [ table_name ][partition_name];
    
  • 针对HDFS表,删除HDFS表在HDFS存储上的空值分区目录。
    1
    VACUUM HDFSDIRECTORY [ table_name ];
    

参数说明

  • FULL

    选择“FULL”清理,这样可以恢复更多的空间,但是需要耗时更多,并且在表上施加了排他锁。

    FULL选项还可以带有COMPACT参数,该参数只针对HDFS表,指定该参数的VACUUM FULL操作性能要好于未指定该参数的VACUUM FULL操作。

    COMPACT和PARTITION参数不能同时使用。

    使用FULL参数会导致统计信息丢失,如果需要收集统计信息,请在VACUUM FULL语句中加上analyze关键字。

  • FREEZE

    指定FREEZE相当于执行VACUUM时将vacuum_freeze_min_age参数设为0。

  • VERBOSE

    为每个表打印一份详细的清理工作报告。

  • ANALYZE | ANALYSE

    更新用于优化器的统计信息,以决定执行查询的最有效方法。

  • table_name

    要清理的表的名称(可以有模式修饰)。

    取值范围:要清理的表的名称。缺省时为当前数据库中的所有表。

  • column_name

    要分析的具体的字段名称。

    取值范围:要分析的具体的字段名称。缺省时为所有字段。

  • PARTITION

    HDFS表不支持PARTITION参数,PARTITION参数不能和COMPACT同时使用。

    PARTITION参数和COMPACT同时使用会报错:COMPACT can not be used with PARTITION.

  • partition_name

    要清理的表的分区名称。缺省时为所有分区。

  • DELTAMERGE

    只针对HDFS表,将HDFS表的delta table中的数据转移到主表存储上。对HDFS表而言,当delta表中数据量小于六万行,则不作迁移,只有在大于或者等于六万行数据时,将delta表中所有数据迁移到HDFS上,并通过truncate清理delta表的存储空间。

  • HDFSDIRECTORY

    只针对HDFS表,删除HDFS表在HDFS存储上表目录下的空值分区目录。

示例

清理当前数据库中的所有表:

1
VACUUM;

仅回收表tpcds.web_returns_p1分区P2的空间,不更新统计信息:

1
VACUUM FULL tpcds.web_returns_p1 PARTITION(P2);

回收表tpcds.web_returns_p1空间,并更新统计信息:

1
VACUUM FULL ANALYZE tpcds.web_returns_p1;

清理当前数据库中的所有表并收集查询优化器的统计信息:

1
VACUUM ANALYZE;

仅清理特定表reason:

1
VACUUM (VERBOSE, ANALYZE) tpcds.reason;

对列存表table_delta进行DELTAMERGE操作:

1
VACUUM DELTAMERGE tpcds.table_delta;

仅对列存表table_delta的分区p1进行DELTAMERGE操作:

1
VACUUM DELTAMERGE tpcds.table_delta partition(p1);