CREATE TABLE PARTITION
功能描述
创建分区表。逻辑上的一张表根据某种方案分成几张物理块进行存储,这张逻辑上的表称之为分区表,物理块称之为分区。分区表是一张逻辑表,不存储数据,数据实际是存储在分区上的。
常见的分区策略都是按照某一列或者某几列定义一些数据分布范围,然后每个分区承载一个范围的数据,这些列称之为分区键。
目前DWS行存表、列存表支持的分区类型包括范围分区和列表分区。
- 范围分区(Range Partitioning)
根据表的一列或者多列,将要插入表的记录分为若干个范围,这些范围在不同的分区里没有重叠。为每个范围创建一个分区,用来存储相应的数据。
- 核心特征:数据按连续区间分布,常用于有序且按范围检索的场景。
- 适用场景:分区键具有线性增长或连续区间特征,数据查询常围绕 “某一范围” 展开,且新数据会自然落入新的区间。例如按时间范围进行分区的订单数据,按数值范围分区的用户等级数据等。
- 范围分区策略是指记录插入分区的方式,根据分区键值将记录映射到已创建的某个分区上,如果可以映射到已创建的某一分区上,则把记录插入到对应的分区上,否则给出报错和提示信息,这是最常用的分区策略。目前范围分区仅支持范围分区策略。
- 列表分区(List Partitioning)
根据表的一列,将要插入表的记录通过每一个分区中出现的键值划分到对应的分区中,这些键值在不同的分区里没有重叠。为每组键值创建一个分区,用来存储相应的数据。列表分区仅8.1.3及以上集群版本支持。
- 核心特征:数据按离散的枚举值划分,常用于固定分类或高频过滤的维度。
- 适用场景:分区键值是固定且离散的类别,数据查询常围绕 “某一类别” 展开,键值不会无规律新增。例如按省份分区的用户信息表,每个省份对应一个分区。
- 列表分区策略是根据分区键值将记录映射到已创建的某个分区上,如果可以映射到已创建的某一分区上,则把记录插入到对应的分区上,否则给出报错和提示信息。
注意事项
- 单表的分区数最大为32767个,所有分区的边界值个数最大为32767个。建议不超过1000个。
- 有限地支持唯一约束和主键约束,即唯一约束和主键约束的约束键必须包含所有分区键。
语法格式
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
CREATE TABLE [ IF NOT EXISTS ] partition_table_name ( [ { column_name data_type [ COLLATE collation ] [ column_constraint [ ... ] ] | table_constraint | LIKE source_table [ like_option [...] ] }[, ... ] ] ) [ WITH ( {storage_parameter = value} [, ... ] ) ] [ COMPRESS | NOCOMPRESS ] [ DISTRIBUTE BY { REPLICATION | ROUNDROBIN | { [ HASH ] ( column_name ) } } ] [ TO { GROUP groupname | NODE ( nodename [, ... ] ) } ] PARTITION BY { {VALUES (partition_key)} | {RANGE (partition_key) ( partition_less_than_item [, ... ] )} | {RANGE (partition_key) ( partition_start_end_item [, ... ] )} | {LIST (partition_key) (list_partition_item [, ...])} } [ { ENABLE | DISABLE } ROW MOVEMENT ]; |
CREATE TABLE PARTITION主句参数说明
参数 |
描述 |
取值范围或示例 |
||||||
---|---|---|---|---|---|---|---|---|
IF NOT EXISTS |
如果已经存在相同名称的表,不会抛出一个错误,而会发出一个通知,告知表关系已存在。 |
- |
||||||
partition_table_name |
分区表的名称。 |
字符串,要符合标识符的命名规范。参见标识符命名规范。 |
||||||
column_name |
新表中要创建的字段名。 |
字符串,要符合标识符的命名规范。参见标识符命名规范。 |
||||||
data_type |
字段的数据类型。 |
- |
||||||
COLLATE collation |
COLLATE子句指定列的排序规则,仅支持char、varchar、text、nchar、nvarchar这些数据类型的排序规则,排序规则主要影响查询结果的排列顺序,例如SELECT ... ORDER BY后展示的优先级。如果没有指定,则使用默认的排序规则C(即严格区分大小写)。 常见的排序规则有:
DWS支持的排序规则可通过系统表PG_COLLATION 查询:
查看当前数据库默认的排序规则可使用如下语句:
|
例如,对某列的取值采用不区分大小写排序规则。
查询时结果如下,表示A和a等价。 |
||||||
CONSTRAINT constraint_name |
列约束或表约束的名字。可选的约束子句用于声明约束,新行或者更新的行必须满足这些约束才能成功插入或更新。 定义约束有两种方法:
|
支持的约束参见表3。 |
||||||
LIKE source_table [ like_option ... ] |
LIKE子句声明一个表,新表自动从声明的表中继承所有字段名及其数据类型和非空约束。 |
使用约束参见LIKE参数使用说明。 |
||||||
WITH |
这个子句为表或索引指定一个可选的存储参数。 |
支持的WITH参数参见表4。 |
||||||
COMPRESS / NOCOMPRESS |
创建一个新表时,需要在创建表语句中指定关键字COMPRESS,这样,当对该表进行批量插入时就会触发压缩特性。该特性会在页范围内扫描所有元组数据,生成字典、压缩元组数据并进行存储。指定关键字NOCOMPRESS则不对表进行压缩。 |
缺省值为NOCOMPRESS,即不对元组数据进行压缩。 |
||||||
DISTRIBUTE BY |
指定表如何在节点之间分布或者复制。 |
取值范围:
其他详细使用约束参见DISTRIBUTE BY参数使用说明。
注意:
|
||||||
TO { GROUP groupname | NODE ( nodename [, ... ] ) } |
TO GROUP指定创建表所在的Node Group,目前不支持hdfs表使用。TO NODE主要供内部扩容工具使用,一般用户不建议使用。 |
- |
||||||
{ ENABLE | DISABLE } ROW MOVEMENT |
行迁移开关,当更新表中某行分区键值时,如果新值属于其他分区,则会根据开关给出报错信息或者将该行数据迁移到对应的分区。
默认为DISABLE,关闭。 使用建议:
注意:
开启ROW MOVEMENT则允许跨分区更新,但此时如果有SELECT FOR UPDATE查询该分区表并发执行,存在查询结果瞬时不一致的可能性,需要谨慎使用。 |
举例,某分区表的日期列(分区键),按季度进行分区,分为分区p_2023q1和p_2023q2,某一行的“2023-02-15”原属于第一季度的分区p_2023q1,当更新该值为“2023-05-15”后,对应的这行数据,会根据ROW MOVEMENT开关是否打开而决定是否行数据迁移:
|
列约束CONSTRAINT constraint_name参数说明
1 2 3 4 5 6 7 |
{ NOT NULL | NULL | CHECK ( expression ) | DEFAULT default_expr | UNIQUE [ NULLS [NOT] DISTINCT | NULLS IGNORE ] index_parameters | PRIMARY KEY index_parameters } [ DEFERRABLE | NOT DEFERRABLE | INITIALLY DEFERRED | INITIALLY IMMEDIATE ] |
参数 |
描述 |
取值范围或示例 |
||||||||
---|---|---|---|---|---|---|---|---|---|---|
NOT NULL |
字段值不允许为NULL。ENABLE用于语法兼容,可省略。 |
- |
||||||||
NULL |
字段值允许NULL ,这是默认值,该子句只是为和非标准SQL数据库兼容。不建议使用。 |
- |
||||||||
CHECK (condition) [ NO INHERIT ] |
CHECK约束声明一个布尔表达式,每次要插入的新行或者要更新的行的新值必须使表达式结果为真或未知才能成功,否则会报错并且执行失败。 声明为字段约束的检查约束应该只引用该字段的数值,而在表约束里出现的表达式可以引用多个字段。 用NO INHERIT标记的约束将不会传递到子表中去。 |
单个字段约束: 价格必须为正数:
插入一条价格为负数的数据:
违反约束,则报错,插入不成功。
表约束(约束多个字段): 创建一个库存表,分两个字段,可用量和预定量,且可用量必须大于等于预定量:
|
||||||||
DEFAULT default_expr |
DEFAULT子句给字段指定缺省值。该数值可以是任何不含变量的表达式(不允许使用子查询和对本表中的其他字段的交叉引用)。缺省表达式的数据类型必须和字段类型匹配。 缺省表达式将被用于任何未声明该字段数值的插入操作。如果没有指定缺省值则缺省值为NULL 。 |
- |
||||||||
UNIQUE [ NULLS [NOT] DISTINCT | NULLS IGNORE ] index_parameters UNIQUE [ NULLS [NOT] DISTINCT | NULLS IGNORE ] ( column_name [, ... ] ) index_parameters |
UNIQUE约束表示表里的一个字段或多个字段的组合必须在全表范围内唯一。 其中[ NULLS [ NOT ] DISTINCT | NULLS IGNORE ]字段用来指定Unique唯一索引中索引列NULL值的处理方式。 |
默认取值:该参数默认缺省,即NULL值可重复插入。 在对插入的新数据和表中原始数据进行列的等值比较时,对于NULL值有以下三种处理方式:
三种处理方式具体的行为如表8所示。 更多使用方法可以参见关于NULLS DISTINCT、NULLS NOT DISTINCT、NULLS IGNORE使用上的场景差异。
注意:
如果没有声明DISTRIBUTE BY REPLICATION,则唯一约束的列集合中必须包含分布列。 |
||||||||
PRIMARY KEY index_parameters PRIMARY KEY ( column_name [, ... ] ) index_parameters |
主键约束声明表中的一个或者多个字段只能包含唯一的非NULL值。 一个表只能声明一个主键。
注意:
如果没有声明DISTRIBUTE BY REPLICATION,则主键约束的列集合中必须包含分布列。 |
- |
||||||||
DEFERRABLE | NOT DEFERRABLE |
设置该约束是否可推迟。一个不可推迟的约束将在每条命令之后马上检查。可推迟约束可以推迟到事务结尾使用SET CONSTRAINTS命令检查。缺省是NOT DEFERRABLE。目前,行存的UNIQUE约束和主键约束可以接受这个子句。所有其他约束类型都是不可推迟的。 |
- |
||||||||
INITIALLY IMMEDIATE | INITIALLY DEFERRED |
如果约束是可推迟的,则这个子句声明检查约束的缺省时间。
约束检查的时间可以用SET CONSTRAINTS命令修改。 |
- |
表约束table_constraint参数说明
1 2 3 4 |
{ CHECK ( expression ) | UNIQUE [ NULLS [NOT] DISTINCT | NULLS IGNORE ] ( column_name [, ... ] ) index_parameters | PRIMARY KEY ( column_name [, ... ] ) index_parameters} [ DEFERRABLE | NOT DEFERRABLE | INITIALLY DEFERRED | INITIALLY IMMEDIATE ] |
LIKE参数使用说明
1
|
{ INCLUDING | EXCLUDING } { DEFAULTS | CONSTRAINTS | INDEXES | STORAGE | COMMENTS | RELOPTIONS | DISTRIBUTION | ALL } |
新表与原来的表之间在创建动作完毕之后是完全无关的。在源表做的任何修改都不会传播到新表中,并且也不可能在扫描源表的时候包含新表的数据。
字段缺省表达式只有在声明了INCLUDING DEFAULTS之后才会包含进来。缺省是不包含缺省表达式的,即新表中所有字段的缺省值都是NULL。
非空约束将总是复制到新表中,CHECK约束则仅在指定了INCLUDING CONSTRAINTS的时候才复制,而其他类型的约束则永远也不会被复制。此规则同时适用于表约束和列约束。
被复制的列和约束并不使用相同的名字进行融合。如果明确的指定了相同的名字或者在另外一个LIKE子句中,将会报错。
- 如果指定了INCLUDING INDEXES,则源表上的索引也将在新表上创建,默认不建立索引。
- 如果指定了INCLUDING STORAGE,则拷贝列的STORAGE设置也将被拷贝,默认情况下不包含STORAGE设置。
- 如果指定了INCLUDING COMMENTS,则源表列、约束和索引的注释也会被拷贝过来。默认情况下,不拷贝源表的注释。
- 如果指定了INCLUDING RELOPTIONS,则源表的存储参数(即源表的WITH子句)也将拷贝至新表。默认情况下,不拷贝源表的存储参数。
- 如果指定了INCLUDING DISTRIBUTION,则新表将拷贝源表的分布信息,包括分布类型和分布列,同时新表将不能再使用DISTRIBUTE BY子句。默认情况下,不拷贝源表的分布信息。
- INCLUDING ALL是INCLUDING DEFAULTS INCLUDING CONSTRAINTS INCLUDING INDEXES INCLUDING STORAGE INCLUDING COMMENTS INCLUDING RELOPTIONS INCLUDING DISTRIBUTION的简写形式。
WITH子句参数说明
参数 |
描述 |
取值范围 |
---|---|---|
FILLFACTOR |
一个表的填充因子(fillfactor)是一个介于10和100之间的百分数。100(完全填充)是默认值。如果指定了较小的填充因子,INSERT操作仅按照填充因子指定的百分率填充表页。每个页上的剩余空间将用于在该页上更新行,这就使得UPDATE有机会在同一页上放置同一条记录的新版本,这比把新版本放置在其他页上更有效。对于一个从不更新的表将填充因子设为100是优良选择,但是对于频繁更新的表,选择较小的填充因子则更加合适。该参数对于列存表没有意义。 |
10~100 |
ORIENTATION |
决定了表的数据的存储方式。 |
注意:
orientation不支持修改。 |
COMPRESSION |
该参数仅列存表支持,有效值为:LOW、MIDDLE或HIGH。默认值为LOW。
说明:
暂不支持行存表压缩功能。 |
- |
MAX_BATCHROW |
指定了在数据加载过程中一个存储单元可以容纳记录的最大数目。该参数只对列存表有效。 |
取值范围:10000~60000 默认值:60000 |
PARTIAL_CLUSTER_ROWS |
指定了在数据加载过程中进行将局部聚簇存储的记录数目。该参数只对列存表有效。 |
取值范围:其有效值为大于等于10万。此值是MAX_BATCHROW的倍数。 |
enable_delta |
指定了在列存表是否开启delta表。该参数只对列存表有效。不推荐使用列存带Delta表,否则会出现由于来不及merge而导致的磁盘膨胀以及性能劣化等问题。 |
默认值:off |
DELTAROW_THRESHOLD |
预留参数。该参数只对列存表有效。 |
取值范围:0~60000,默认值为6000 |
COLD_TABLESPACE |
指定冷分区保存的OBS表空间,仅冷热表支持。该参数仅支持列存分区表,且该参数不支持修改,需与STORAGE_POLICY同时使用。在指定STORAGE_POLICY时,可不设置该参数,默认为default_obs_tbs。 |
取值范围:有效的OBS TABLESPACE名。 |
STORAGE_POLICY |
指定冷热分区切换规则,仅冷热表支持。该参数需与COLD_TABLESPACE同时使用。 |
取值范围:"冷热切换策略名称:冷热切换的阈值",目前冷热切换的策略名称只支持LMT和HPN,LMT指按分区的最后更新时间切换,HPN指保留热分区的个数切换。
注意:
|
ENABLE_MULTI_TEMP_DISKCACHE |
冷热表性能优化参数,仅支持冷热表设置,该参数仅9.1.0及以上版本支持。 |
取值范围:on/true,off/false 默认值:on/true |
PERIOD |
指定分区管理中自动创建分区的周期,并开启自动创建分区功能。仅支持行存、列存范围分区表、时序表以及冷热表;分区键唯一并且类型仅支持TIMESTAMP[(p)] [WITHOUT TIME ZONE]、TIMESTAMP[(p)] [WITH TIME ZONE]、DATE;不支持存在maxvalue分区;(nowTime - boundaryTime) / PERIOD需要小于分区个数上限,其中nowTime为当前时间,boundaryTime为现有分区中最早的分区边界时间;不支持在小型机、加速集群上使用。 |
取值范围:1 hour ~ 100 years
注意:
|
TTL |
指定分区管理中分区过期的时间,并开启自动删除分区功能。不支持单独设置,必须要提前或同时设置PERIOD,并且要大于或等于PERIOD。 |
取值范围:1 hour ~ 100 years
注意:
PERIOD指明按照时间划分的周期对数据进行分区,分区的大小可能对查询性能有影响,同时每隔周期时间会创建一个新的周期大小的分区,具体做法是以period周期,自动调用proc_add_partition (relname regclass, boundaries_interval interval)函数。TTL(Time To Live)指明该表的数据保存周期,超过TTL周期的数据将被清理,具体做法是以period周期,自动调用proc_drop_partition (relname regclass, older_than interval)函数。PERIOD和TTL的值为Interval类型,例如:“1 hour”, “1 day”, “1 week”, “1 month” ,“1 year”, “1 month 2 day 3 hour”。 |
COLVERSION |
指定列存存储格式的版本,支持不同存储格式版本之间的切换,但分区表不支持存储格式版本切换。 |
取值范围:
默认值:2.0 需注意,OBS冷热表仅支持colversion 2.0格式。
注意:
在建列存表时选择COLVERSION=2.0,相比于1.0存储格式,在以下场景中性能有明显提升:
|
SKIP_FPI_HINT |
顺序扫描过程中,若需要写FPW(full page writes)日志时,该参数控制是否跳过设置HintBits操作。 |
默认值:false
注意:
设置SKIP_FPI_HINT=true时,在对某表执行checkpoint操作后,若对该表进行顺序扫描,将不再产生Xlog。适用于查询次数较少的中间表,有效减少Xlog的大小,提升查询性能。 |
PARTITION BY子句参数说明
- partition_less_than_item:
1
PARTITION partition_name VALUES LESS THAN ( { partition_value | MAXVALUE } )
- partition_start_end_item:
1 2 3 4 5 6
PARTITION partition_name { {START(partition_value) END (partition_value) EVERY (interval_value)} | {START(partition_value) END ({partition_value | MAXVALUE})} | {START(partition_value)} | {END({partition_value | MAXVALUE})} }
- list_partition_item:
1
PARTITION partition_name VALUES ( { (partition_value) [, ...] | DEFAULT } )
参数 |
描述 |
取值范围 |
||
---|---|---|---|---|
PARTITION BY RANGE(partition_key) |
指定范围分区策略语法,partition_key为分区键的名称。 |
|
||
PARTITION BY LIST (partition_key,[...]) |
指定列表分区策略语法,partition_key为分区键的名称。 |
列表分区策略分区键支持的数据类型为:TINYINT、SMALLINT、INTEGER、BIGINT、NUMERIC/DECIMAL、TEXT、NVARCHAR2、VARCHAR(n)、CHAR、BPCHAR、TIME、TIME WITH TIMEZONE、TIMESTAMP、TIMESTAMP WITH TIME ZONE、DATE、INTERVAL、SMALLDATETIME。
注意:
列表分区策略的分区键最多支持4列。 |
||
partition_less_than_item |
范围分区策略下分区(简称为范围分区)的定义语法。partition_name为范围分区的名称。partition_value为范围分区的上边界,取值依赖于partition_key的类型。MAXVALUE表示分区的上边界,它通常用于设置最后一个范围分区的上边界。
注意:
|
- |
||
partition_start_end_item |
使用起始值以及间隔值定义范围分区的语法。
|
各参数含义如下:
|
||
list_partition_item |
列表分区策略下分区(简称为列表分区)的定义语法。partition_name为分区的名称。partition_value为列表分区边界的一个枚举值,取值依赖于partition_key的类型。DEFAULT表示默认分区的边界。
|
对于列表分区表,存在以下约定和约束:
|
字段控制 |
索引列全为NULL |
部分索引列为NULL |
---|---|---|
NULLS DISTINCT |
可重复插入 |
可重复插入 |
NULLS NOT DISTINCT |
不可重复插入 |
非NULL值相等,不可插入;非NULL值不相等,则插入成功 |
NULLS IGNORE |
可重复插入 |
非NULL值相等,不可插入;非NULL值不相等,则插入成功 |
period |
period最大单位 |
第一个默认分区的分区边界 |
---|---|---|
1hour |
Hour |
2022-02-17 17:00:00 |
1day |
Day |
2022-02-18 00:00:00 |
1month |
Month |
2022-03-01 00:00:00 |
13month |
Year |
2023-01-01 00:00:00 |
字段控制 |
索引列全为NULL |
部分索引列为NULL |
---|---|---|
NULLS DISTINCT |
可重复插入 |
可重复插入 |
NULLS NOT DISTINCT |
不可重复插入 |
非NULL值相等,不可插入;非NULL值不相等,则插入成功 |
NULLS IGNORE |
可重复插入 |
非NULL值相等,不可插入;非NULL值不相等,则插入成功 |
period |
period最大单位 |
第一个默认分区的分区边界 |
---|---|---|
1hour |
Hour |
2022-02-17 17:00:00 |
1day |
Day |
2022-02-18 00:00:00 |
1month |
Month |
2022-03-01 00:00:00 |
13month |
Year |
2023-01-01 00:00:00 |
DISTRIBUTE BY参数使用说明
- 当default_distribution_mode=roundrobin时,DISTRIBUTE BY的默认值按如下规则选取:
- 若建表时包含主键/唯一约束,则选取HASH分布,分布列为主键/唯一约束对应的列。
- 若建表时不包含主键/唯一约束,则选取ROUNDROBIN分布。
- 当default_distribution_mode=hash时,DISTRIBUTE BY的默认值按如下规则选取:
- 若建表时包含主键/唯一约束,则选取HASH分布,分布列为主键/唯一约束对应的列。
- 若建表时不包含主键/唯一约束,但存在数据类型支持作分布列的列,则选取HASH分布,分布列为第一个数据类型支持作分布列的列。
- 若建表时不包含主键/唯一约束,也不存在数据类型支持作分布列的列,选取ROUNDROBIN分布。
- INTEGER TYPES:TINYINT,SMALLINT,INT,BIGINT,NUMERIC/DECIMAL
- CHARACTER TYPES:CHAR,BPCHAR,VARCHAR,VARCHAR2,NVARCHAR2,TEXT
- DATE/TIME TYPES:DATE,TIME,TIMETZ,TIMESTAMP,TIMESTAMPTZ,INTERVAL,SMALLDATETIME
示例:使用LESS THAN语法创建range分区表
Range分区表customer_address含有4个分区,分区键为integer类型。分区的范围分别为:ca_address_sk<2450815,2450815<= ca_address_sk< 2451179,2451179<= ca_address_sk< 2451544,2451544<=ca_address_sk。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
CREATE TABLE customer_address ( ca_address_sk INTEGER NOT NULL , ca_address_id CHARACTER(16) NOT NULL , ca_street_number CHARACTER(10) , ca_street_name CHARACTER varying(60) , ca_street_type CHARACTER(15) , ca_suite_number CHARACTER(10) ) DISTRIBUTE BY HASH (ca_address_sk) PARTITION BY RANGE(ca_address_sk) ( PARTITION P1 VALUES LESS THAN(2450815), PARTITION P2 VALUES LESS THAN(2451179), PARTITION P3 VALUES LESS THAN(2451544), PARTITION P4 VALUES LESS THAN(MAXVALUE) ); |
查看分区表信息:
SELECT relname, boundaries FROM pg_partition p where p.parentid='customer_address'::regclass ORDER BY 1; relname | boundaries ------------------+------------ customer_address | p1 | {2450815} p2 | {2451179} p3 | {2451544} p4 | {NULL} (5 rows)
查询分区P1的行数:
1 2 |
SELECT count(*) FROM customer_address PARTITION (P1); SELECT count(*) FROM customer_address PARTITION FOR (2450815); |
示例:开启和关闭行迁移功能ROW MOVEMENT
在更新某行的分区键为新值且新值属于其他分区时,如果打开ROW MOVEMENT,则该行数据对应迁移到新的分区中。
频繁更新分区键时,ENABLE ROW MOVEMENT 可能导致额外I/O开销,需评估业务需求。
创建按日期范围分区的表,并启用行迁移:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
DROP TABLE IF EXISTS sale_data; CREATE TABLE sales_data ( sale_id INT, product_name VARCHAR(100), sale_date DATE, amount DECIMAL(10, 2) ) PARTITION BY RANGE (sale_date) ( PARTITION p_2023q1 VALUES LESS THAN ('2023-04-01'), PARTITION p_2023q2 VALUES LESS THAN ('2023-07-01'), PARTITION p_2023q3 VALUES LESS THAN ('2023-10-01'), PARTITION p_2023q4 VALUES LESS THAN ('2024-01-01') ) ENABLE ROW MOVEMENT; |
插入测试数据:
1 2 3 4 |
INSERT INTO sales_data (sale_id, product_name, sale_date, amount) VALUES (1, 'Product A', '2023-02-15', 1000.00), -- 属于 p_2023q1 (2, 'Product B', '2023-05-20', 1500.00); -- 属于 p_2023q2 |
查询各分区数据分布:
1
|
SELECT tableoid::regclass AS partition, * FROM sales_data ORDER BY sale_id; |
尝试更新分区键值(从 p_2023q1 移动到 p_2023q2):
1
|
UPDATE sales_data SET sale_date = '2023-05-01' WHERE sale_id = 1; |
再次查询各分区数据分布,确认行已移动
1
|
SELECT tableoid::regclass AS partition, * FROM sales_data ORDER BY sale_id; |
关闭行迁移功能:
1
|
ALTER TABLE sales_data DISABLE ROW MOVEMENT; |
再次修改分区键(从 p_2023q2 移动回到 p_2023q2):
UPDATE sales_data SET sale_date = '2023-02-15' WHERE sale_id = 1;
回显提示,行迁移关闭,不允许更新分区键。
示例:使用START END语法创建列存range分区表
CREATE TABLE customer_address_SE ( ca_address_sk INTEGER NOT NULL , ca_address_id CHARACTER(16) NOT NULL , ca_street_number CHARACTER(10) , ca_street_name CHARACTER varying(60) , ca_street_type CHARACTER(15) , ca_suite_number CHARACTER(10) ) WITH (ORIENTATION = COLUMN) DISTRIBUTE BY HASH (ca_address_sk) PARTITION BY RANGE(ca_address_sk) ( PARTITION p1 START(1) END(1000) EVERY(200), PARTITION p2 END(2000), PARTITION p3 START(2000) END(5000) );
查看分区表信息:
SELECT relname, boundaries FROM pg_partition p where p.parentid='customer_address_SE'::regclass ORDER BY 1; relname | boundaries ---------------------+------------ customer_address_se | p1_0 | {1} p1_1 | {201} p1_2 | {401} p1_3 | {601} p1_4 | {801} p1_5 | {1000} p2 | {2000} p3 | {5000} (9 rows)
示例:START END语法创建、修改Range分区表
创建临时schema:
1 2 |
CREATE SCHEMA tpcds; SET CURRENT_SCHEMA TO tpcds; |
创建分区表,分区键是integer类型:
1 2 3 4 5 6 7 8 9 10 |
CREATE TABLE tpcds.startend_pt (c1 INT, c2 INT) DISTRIBUTE BY HASH (c1) PARTITION BY RANGE (c2) ( PARTITION p1 START(1) END(1000) EVERY(200), PARTITION p2 END(2000), PARTITION p3 START(2000) END(2500), PARTITION p4 START(2500), PARTITION p5 START(3000) END(5000) EVERY(1000) ) ENABLE ROW MOVEMENT; |
查看分区表信息:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
SELECT relname, boundaries FROM pg_partition p where p.parentid='tpcds.startend_pt'::regclass ORDER BY 1; relname | boundaries -------------+------------ p1_0 | {1} p1_1 | {201} p1_2 | {401} p1_3 | {601} p1_4 | {801} p1_5 | {1000} p2 | {2000} p3 | {2500} p4 | {3000} p5_1 | {4000} p5_2 | {5000} tpcds.startend_pt | (12 rows) |
导入数据,查看分区数据量:
1 2 3 4 5 6 7 8 9 10 11 12 |
INSERT INTO tpcds.startend_pt VALUES (GENERATE_SERIES(0, 4999), GENERATE_SERIES(0, 4999)); SELECT COUNT(*) FROM tpcds.startend_pt PARTITION FOR (0); count ------- 1 (1 row) SELECT COUNT(*) FROM tpcds.startend_pt PARTITION (p3); count ------- 500 (1 row) |
查看分区表信息:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
SELECT relname, boundaries FROM pg_partition p where p.parentid='tpcds.startend_pt'::regclass ORDER BY 1; relname | boundaries -------------+------------ p1_0 | {1} p1_1 | {201} p1_2 | {401} p1_3 | {601} p1_4 | {801} p1_5 | {1000} p2 | {2000} p3 | {2500} p4 | {3000} p5_1 | {4000} p6_1 | {5300} p6_2 | {5600} p6_3 | {5900} p71 | {6000} q1_1 | {4250} q1_2 | {4500} q1_3 | {4750} q1_4 | {5000} tpcds.startend_pt | (19 rows) |
示例:创建一个分区键的list分区表
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
CREATE TABLE data_list ( id int, time int, sarlay decimal(12,2) ) PARTITION BY LIST (time) ( PARTITION P1 VALUES (202209), PARTITION P2 VALUES (202210,202208), PARTITION P3 VALUES (202211), PARTITION P4 VALUES (202212), PARTITION P5 VALUES (202301) ); |
示例:创建多个分区键的list分区表
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
CREATE TABLE sales_info ( sale_time timestamptz, period int, city text, price numeric(10,2), remark varchar2(100) ) DISTRIBUTE BY HASH(sale_time) PARTITION BY LIST (period, city) ( PARTITION north_2022 VALUES (('202201', 'north1'), ('202202', 'north2')), PARTITION south_2022 VALUES (('202201', 'south1'), ('202202', 'south2'), ('202203', 'south2')), PARTITION rest VALUES (DEFAULT) ); |
示例:创建不指定分区的自动分区管理分区表,指定分区管理中自动创建分区的周期PERIOD为1 day,分区键为time
1 2 3 4 5 6 |
CREATE TABLE time_part ( id integer, time timestamp ) with (PERIOD='1 day') partition by range(time); |
建表时将创建两个默认分区,第一个默认分区的边界时间是大于当前时间的第一个整天的时间,即2022-12-13 00:00:00;第二个默认分区的边界时间是第一个分区边界时间加PERIOD,即2022-12-13 00:00:00+1day=2022-12-14 00:00:00。
1 2 3 4 5 6 7 8 9 10 11 12 13 |
SELECT now(); now ------------------------------- 2022-12-12 20:41:21.603172+08 (1 row) SELECT relname, boundaries FROM pg_partition p where p.parentid='time_part'::regclass ORDER BY 1; relname | boundaries ----------------+------------------------- default_part_1 | {"2022-12-13 00:00:00"} default_part_2 | {"2022-12-14 00:00:00"} time_part | (3 rows) |
示例:创建指定分区的自动分区管理分区表
1 2 3 4 5 6 7 8 9 10 11 12 13 |
CREATE TABLE CPU( id integer, idle numeric, IO numeric, scope text, IP text, time timestamp ) with (TTL='7 days',PERIOD='1 day') partition by range(time) ( PARTITION P1 VALUES LESS THAN('2022-01-05 16:32:45'), PARTITION P2 VALUES LESS THAN('2022-01-06 16:56:12') ); |
示例:按照月份创建分区表customer_address,含有13个分区,分区键为date类型
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
CREATE TABLE customer_address ( ca_address_sk integer NOT NULL, ca_address_date date NOT NULL ) DISTRIBUTE BY HASH (ca_address_sk) PARTITION BY RANGE (ca_address_date) ( PARTITION p202001 VALUES LESS THAN('20200101'), PARTITION p202002 VALUES LESS THAN('20200201'), PARTITION p202003 VALUES LESS THAN('20200301'), PARTITION p202004 VALUES LESS THAN('20200401'), PARTITION p202005 VALUES LESS THAN('20200501'), PARTITION p202006 VALUES LESS THAN('20200601'), PARTITION p202007 VALUES LESS THAN('20200701'), PARTITION p202008 VALUES LESS THAN('20200801'), PARTITION p202009 VALUES LESS THAN('20200901'), PARTITION p202010 VALUES LESS THAN('20201001'), PARTITION p202011 VALUES LESS THAN('20201101'), PARTITION p202012 VALUES LESS THAN('20201201'), PARTITION p202013 VALUES LESS THAN(MAXVALUE) ); |
插入数据:
1 2 3 4 |
INSERT INTO customer_address values('1','20200215'); INSERT INTO customer_address values('7','20200805'); INSERT INTO customer_address values('9','20201111'); INSERT INTO customer_address values('4','20201231'); |
查询分区:
1 2 3 4 5 |
SELECT * FROM customer_address PARTITION(p202009); ca_address_sk | ca_address_date ---------------+--------------------- 7 | 2020-08-05 00:00:00 (1 row) |
示例:使用START END语法一次创建含有多个分区的分区表
- 创建分区表day_part,每一天为一个分区,分区键为date类型。
1 2 3 4 5
CREATE table day_part(id int,d_time date) DISTRIBUTE BY HASH (id) PARTITION BY RANGE (d_time) (PARTITION p1 START('2022-01-01') END('2022-01-31') EVERY(interval '1 day')); ALTER TABLE day_part ADD PARTITION pmax VALUES LESS THAN (maxvalue);
- 创建分区表week_part,每7天为一个分区,分区键为date类型。
1 2 3 4 5
CREATE table week_part(id int,w_time date) DISTRIBUTE BY HASH (id) PARTITION BY RANGE (w_time) (PARTITION p1 START('2021-01-01') END('2022-01-01') EVERY(interval '7 day')); ALTER TABLE week_part ADD PARTITION pmax VALUES LESS THAN (maxvalue);
- 创建分区表month_part,每一个月为一个分区,分区键为date类型。
1 2 3 4 5
CREATE table month_part(id int,m_time date) DISTRIBUTE BY HASH (id) PARTITION BY RANGE (m_time) (PARTITION p1 START('2021-01-01') END('2022-01-01') EVERY(interval '1 month')); ALTER TABLE month_part ADD PARTITION pmax VALUES LESS THAN (maxvalue);
示例:创建冷热表
仅支持列存分区表,使用obs默认表空间,冷热切换规则设置LMT为30。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
CREATE TABLE cold_hot_table ( W_WAREHOUSE_ID CHAR(16) NOT NULL, W_WAREHOUSE_NAME VARCHAR(20) , W_STREET_NUMBER CHAR(10) , W_STREET_NAME VARCHAR(60) , W_STREET_ID CHAR(15) , W_SUITE_NUMBER CHAR(10) ) WITH (ORIENTATION = COLUMN, storage_policy = 'LMT:30') DISTRIBUTE BY HASH (W_WAREHOUSE_ID) PARTITION BY RANGE(W_STREET_ID) ( PARTITION P1 VALUES LESS THAN(100000), PARTITION P2 VALUES LESS THAN(200000), PARTITION P3 VALUES LESS THAN(300000), PARTITION P4 VALUES LESS THAN(MAXVALUE) )ENABLE ROW MOVEMENT; |