更新时间:2024-06-03 GMT+08:00

自动清理

系统自动清理线程(autovacuum)自动执行VACUUM和ANALYZE命令,回收被标识为删除状态的记录空间,并更新表的统计数据。

系统自动清理线程(autovacuum)包含VACUUM和ANALYZE两个过程。两次autovacuum的执行间隔时间为参数autovacuum_naptime控制,默认时间为10分钟,可根据实际业务场景进行配置。该间隔时间不能保证完全精确,一方面取决于环境的硬件条件和负载,当负载较高时,可能由于需要清理的数据量较大,造成延迟;另一方面取决于相关参数autovacuum_naptime和autovacuum_max_workers的配置值,autovacuum_naptime为执行间隔时间,配置值越小,执行间隔越小,但由于涉及数据的清理和统计信息的计算,占用的CPU、内存和IO开销均会增大;autovacuum_max_workers为同时运行的自动清理线程的最大数量,配置值越大,执行间隔越符合autovacuum_naptime的配置,但占用的CPU、内存和IO开销同样会增大。

autovacuum

参数说明:控制数据库自动清理线程(autovacuum)的启动。自动清理线程运行的前提是将track_counts设置为on。

  • 如果需要使系统在故障恢复后,具备自动清理两阶段事务的功能,请将autovacuum设置为on。
  • 当设置autovacuum为on,autovacuum_max_workers为0时,表示系统不会自动进行autovacuum,只会在故障恢复后,自动清理两阶段事务。
  • 当设置autovacuum为on,autovacuum_max_workers大于0时,表示系统在故障恢复后,不仅会自动清理两阶段事务,还可以自动进行autovacuum。

参数类型:布尔型

参数单位:

取值范围:

  • on:表示开启数据库自动清理线程。
  • off:表示关闭数据库自动清理线程。

默认值:on

设置方式:该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

autovacuum_mode

参数说明:该参数仅在autovacuum设置为on的场景下生效,它控制autoanalyze和autovacuum的打开情况。

参数类型:枚举类型

参数单位:

取值范围:analyze、vacuum、mix、none

  • analyze:表示只做autoanalyze。
  • vacuum:表示只做autovacuum。
  • mix:表示autoanalyze和autovacuum都做。
  • none:表示autoanalyze和autovacuum都不做。

默认值:mix

设置方式:该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

设置建议:建议设置为默认值。

autoanalyze_timeout

参数说明:设置autoanalyze的超时时间。在对某张表做autoanalyze时,如果该表的analyze时长超过了autoanalyze_timeout,则自动取消该表此次analyze。

这里的时间检查不能保证完全精确,原则上要保证各个CN上统计信息一致,因此在CN间同步信息时,即便超时也不会被打断。这导致实际的执行时间有可能超过用户定义的时间。

参数类型:整型

参数单位:秒(s)

取值范围:0~2147483,0表示不超时。

默认值:300

设置方式:该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

设置建议:

autovacuum_io_limits

参数说明:控制autovacuum线程每秒触发IO的上限。

参数类型:整型

参数单位:

取值范围:-1~1073741823。其中-1表示不控制,而是使用系统默认控制组。

默认值:-1

设置方式:该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

log_autovacuum_min_duration

参数说明:当自动清理的执行时间大于或者等于某个特定的值时,向服务器日志中记录自动清理执行的每一步操作。设置此选项有助于追踪自动清理的行为。

举例如下:将log_autovacuum_min_duration设置为250ms,表示记录所有运行大于或者等于250ms的自动清理命令的相关信息。

参数类型:整型

参数单位:毫秒

取值范围:-1~2147483647。

  • 当参数设置为0时,表示所有的自动清理操作都记录到日志中。
  • 当参数设置为-1时,表示所有的自动清理操作都不记录到日志中。
  • 当参数设置为非-1时,当由于锁冲突的存在导致一个自动清理操作被跳过,记录一条消息(记录跳过autovacuum原因,便于审计)。

默认值:-1

设置方式:该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

设置建议:一般默认-1。日志中需要记录autovacuum操作的场景下,则设置为非-1。

autovacuum_max_workers

参数说明:设置能同时运行的自动清理线程的最大数量,该参数的取值上限与GUC参数max_connections和job_queue_processes大小有关。

参数类型:整型

参数单位:

取值范围:最小值为0(表示不会自动进行autovacuum),理论最大值为262143,实际最大值为动态值,计算公式为“262143 - max_inner_tool_connections - max_connections - max_concurrent_autonomous_transactions - job_queue_processes - 辅助线程数 – autovacuum的launcher线程数 - 1”,其中辅助线程数和autovacuum的launcher线程数由两个宏来指定,当前版本的默认值分别为20和2。

默认值:3

调整建议:此参数设置越大,自动清理功能创建的线程数越多,占用的系统cpu和内存资源越多,所以设置时不建议设置过大,避免由于此参数设置过大导致内存无法分配或者占用过多cpu资源,导致数据库启动报错或业务受到影响。

设置方式:该参数属于POSTMASTER类型参数,请参考表1中对应设置方法进行设置。

autovacuum_naptime

参数说明:设置两次自动清理操作的时间间隔。

参数类型:整型

参数单位:s

取值范围:1~2147483。

默认值:10min(即600s)

设置方式:该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。例如,不带单位取值600,表示autovacuum_naptime为600s;带单位取值10min,表示autovacuum_naptime为10min。取值如果要带单位,必须为s、min、h、d

设置建议:设置为默认值,不作调整。

autovacuum_vacuum_threshold

参数说明:用于计算触发VACUUM的阈值,计算方式为autovacuum_vacuum_threshold+ reltuples(表上元组的个数) * autovacuum_vacuum_scale_factor。当表上被删除或更新的记录数超过阈值时才会对这个表执行VACUUM操作。

参数类型:整型

参数单位:

取值范围:0 ~ 2147483647

默认值:50

设置方式:该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

设置建议:推荐使用默认值。

autovacuum_analyze_threshold

参数说明:用于计算触发ANALYZE操作的阈值,计算方式为autovacuum_analyze_threshold+ reltuples(表上元组的个数) * autovacuum_analyze_scale_factor。当表上被删除、插入或更新的记录数超过阈值时才会对这个表执行ANALYZE操作。若表上存在全局二级索引,则当表上被删除、插入和更新的记录数超过阈值的20倍时,才会对全局二级索引执行ANALYZE操作。

参数类型:整型

参数单位:

取值范围:0 ~ 2147483647

默认值:50

设置方式:该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

设置建议:推荐使用默认值。

autovacuum_vacuum_scale_factor

参数说明:VACUUM时计算表的规模因子,用于计算执行VACUUM的阈值,计算方式为autovacuum_vacuum_threshold+ reltuples (表上元组的个数)* autovacuum_vacuum_scale_factor。当表上被删除或更新的记录数超过阈值时才会对这个表执行VACUUM操作。

参数类型:浮点型

参数单位:

取值范围:0.0 ~ 100.0

默认值:0.2

设置方式:该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

设置建议:该值越大,触发VACUUM的条件就越高,对性能影响越小。

autovacuum_analyze_scale_factor

参数说明:ANALYZE表的规模因子,用于计算执行ANALYZE的阈值,计算方式为autovacuum_analyze_threshold+ reltuples(表上元组的个数) * autovacuum_analyze_scale_factor。当表上被删除、插入或更新的记录数超过阈值时才会对这个表执行ANALYZE操作。

参数类型:浮点型

参数单位:

取值范围:0.0 ~ 100.0

默认值:0.1

设置方式:该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

设置建议:该值越大,触发ANALYZE的条件就越高,对性能影响越小。

autovacuum_freeze_max_age

参数说明:对于ASTORE表,指定在一个VACUUM操作被强制执行前,一个表的pg_class.relfrozenxid域能保持的最大周期(事务的)。

  • VACUUM也可以删除pg_clog/子目录中的旧文件。
  • 即使自动清理线程被禁止,系统也会调用自动清理线程。

参数类型:长整型

参数单位:

取值范围:100 000~576 460 752 303 423 487

默认值:4000000000

设置方式:该参数属于POSTMASTER类型参数,请参考表1中对应设置方法进行设置。

autovacuum_vacuum_cost_delay

参数说明:设置在自动VACUUM操作里使用的开销延迟数值。

参数类型:整型

参数单位:毫秒(ms)

取值范围:-1~100。其中-1表示使用常规的vacuum_cost_delay。

默认值:20

设置方式:该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

autovacuum_vacuum_cost_limit

参数说明:设置在自动VACUUM操作里使用的开销限制数值。

参数类型:整型

参数单位:

取值范围:-1~10000。其中-1表示使用常规的vacuum_cost_limit。

默认值:-1

设置方式:该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

twophase_clean_workers

参数说明:该参数用来控制内核调度gs_clean工具的并发清理数。

该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

取值范围:整型,1~10

默认值:3

defer_csn_cleanup_time

参数说明:用来指定本地回收时间间隔。

该参数属于SIGHUP类型参数,请参考表1中对应设置方法进行设置。

取值范围:整型,0~2147483647,单位为毫秒(ms)‬。

默认值:5s(即5000ms)