Spark创建带隐式分区的Hudi表

建表语句格式具体请参考CREATE TABLE。

创建带有隐式分区能力的Hudi表需要在options_list中增加以下参数：

hoodie.hidden.partitioning.max.rules = [hidden_partition_max_rules_num]

hoodie.hidden.partitioning.rule = [hidden_partition_rules]

hoodie.hidden.partitioning.enabled = [hidden_partition_enable]

参数	描述	是否必填
hoodie.hidden.partitioning.max.rules	String类型，可配置的最大隐式分区规则数量。	否，默认是5。分区规则越多，性能越差，如果分区规则超过5个，需要先调整此参数。
hidden_partition_rules	String类型，隐式分区的分区规则。	是
hidden_partition_enable	Boolean类型，是否开启隐式分区。	是

示例

create table test ( id int, name string, price double, size int, ts timestamp )
using hudi tblproperties
(primaryKey = 'id',
preCombineField = 'ts',
hoodie.hidden.partitioning.rule = 'date(ts, yyyy), date(ts, MM), bucket(id, 5)',
hoodie.hidden.partitioning.enabled = 'true'
);

父主题： 隐式分区Hidden Partition

上一篇：简介

下一篇：Flink创建带隐式分区的Hudi表