更新时间:2024-06-29 GMT+08:00
分享

同步Hive表配置

参数

描述

默认值

hoodie.datasource.hive_sync.enable

是否同步hudi表信息到hive metastore。

注意:

建议该值设置为true,统一使用hive管理hudi表。

false

hoodie.datasource.hive_sync.database

要同步给hive的数据库名。

default

hoodie.datasource.hive_sync.table

要同步给hive的表名,建议这个值和hoodie.datasource.write.table.name保证一致。

unknown

hoodie.datasource.hive_sync.username

同步hive时,指定的用户名。

hive

hoodie.datasource.hive_sync.password

同步hive时,指定的密码。

hive

hoodie.datasource.hive_sync.jdbcurl

连接hive jdbc指定的连接。

""

hoodie.datasource.hive_sync.use_jdbc

是否使用hive jdbc方式连接hive同步hudi表信息。建议该值设置为false,设置为false后 jdbc连接相关配置无效。

true

hoodie.datasource.hive_sync.partition_fields

用于决定hive分区列。

""

hoodie.datasource.hive_sync.partition_extractor_class

用于提取hudi分区列值,将其转换成hive分区列。

org.apache.hudi.hive.SlashEncodedDayPartitionValueExtractor

hoodie.datasource.hive_sync.support_timestamp

当hudi表存在timestamp类型字段时,需指定此参数为true,以实现同步timestamp类型到hive元数据中。该值默认为false,默认将timestamp类型同步为bigInt,默认情况可能导致使用sql查询包含timestamp类型字段的hudi表出现错误。

true

相关文档