更新时间:2026-11-13 GMT+08:00
分享

Hive配置与类型

WITH参数说明

通用参数

参数

是否必填

类型

默认值

取值范围

说明

connector

是

String

无

hive

标识连接器类型为Hive连接器。

必须填写且值固定为hive。Flink运行时根据此值加载Hive连接器工厂类,将表声明为Hive数据源或输出表。

hive.storage.file-format

否

String

TEXTFILE

TEXTFILE /SEQUENCEFILE /RCFILE/ORC/PARQUET/AVRO

指定hive表的存储格式。

不填则默认使用TEXTFILE。

只能填写TEXTFILE /SEQUENCEFILE /RCFILE/ORC/PARQUET/AVRO,枚举值大小写不敏感。

hive.serde.info.prop.field.delim

否

String

无

有效分隔符

配置hive表数据分隔符,例如csv格式配置hive.serde.info.prop.field.delim=','

生效场景:TEXTFILE和SEQUENCEFILE的SerializationLib配置为org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe时生效。

hive.location-uri

否

String

无

有效路径

配置hive表的存储位置,请确保填入有效的OBS路径格式,例如obs://bucket/hive/hive_database/hive_tablename。

注意事项:需要有该路径的权限,且表存储路径须为空,若路径已存在数据或被其他表占用将导致建表失败。请使用新路径或先清理已有数据。

Source参数

参数

是否必填

类型

默认值

取值范围

说明

streaming-source.enable

否

Boolean

false

true / false

控制是否启用流式读取Hive表。

默认为false即批式读取。仅在分区表上生效,非分区表即使设置为true也只会批式读取。Flink运行时启用后将持续扫描分区目录,发现新分区后自动读取数据向下游输出,实现Hive表的增量消费。

streaming-source.monitor-interval

否

Duration

1min

正整数(毫秒/秒/分)

设置流式读取时监控新分区的间隔时间。

仅在streaming-source.enable为true时生效。Flink运行时启动后台线程按此间隔定期查询Hive Metastore获取分区列表变化,间隔越短发现新分区越快但Metastore负载越高。

streaming-source.consume-order

否

String

created

created / partition-name

指定流式读取时消费分区的顺序。

仅在streaming-source.enable为true时生效。

  • created按分区创建时间排序消费。
  • partition-name按分区名字典序排序消费。

Flink运行时根据此顺序决定分区的消费优先级,影响数据到达下游的时序。

streaming-source.consume-start-offset

否

String

无

时间戳/分区值

指定流式读取的起始偏移量,仅消费该偏移量之后的分区。仅在streaming-source.enable为true时生效。Flink运行时根据此偏移量过滤历史分区,跳过已存在的旧分区数据,从指定位置开始增量消费。

Sink参数

参数

是否必填

类型

默认值

取值范围

说明

sink.rolling-policy.rollover-interval

否

Duration

1h

正整数

设置滚动写入策略中文件打开后超过此时间将滚动关闭。需开启Checkpoint,数据在Checkpoint时才真正提交。Flink运行时在每次Checkpoint时检查文件打开时长是否超过此阈值,超时则关闭当前文件并开始写入新文件,影响Hive表数据的可见频率。

sink.rolling-policy.check-interval

否

Duration

1min

正整数

设置检查滚动策略的间隔时间。Flink运行时启动后台线程按此间隔检查是否有文件满足滚动条件(时间、大小、空闲等),检查间隔越短文件滚动越及时但检查开销越大。

sink.rolling-policy.inactivity-interval

否

Duration

0

正整数

设置滚动写入策略中文件无新数据写入超过此时间将滚动关闭。0表示禁用此策略。Flink运行时在检查间隔中判断文件的最后写入时间,超过此阈值则关闭文件,避免空闲文件长时间占用资源。

sink.rolling-policy.file-size

否

MemorySize

128MB

正整数

设置滚动写入策略中文件大小超过此值将滚动关闭。Flink运行时在检查间隔中判断当前写入文件的大小,超过此阈值则关闭当前文件并开始写入新文件,防止单个文件过大影响读取性能。

hive.exec.dynamic.partition

否

Boolean

true

true / false

控制是否启用动态分区写入。

设置为false时所有分区列必须静态指定。Flink运行时根据此参数决定写入数据时分区的确定方式,true模式下根据数据中的分区字段值自动路由到对应分区。

hive.exec.dynamic.partition.mode

否

String

strict

strict / nonstrict

指定动态分区模式。仅在hive.exec.dynamic.partition为true时生效。

  • strict要求至少一个静态分区列。
  • nonstrict允许所有分区列都是动态的。

Flink运行时在写入数据时根据此模式校验分区列的指定方式,nonstrict模式更灵活但需确保分区字段值合理。

数据类型

表1 Hive与Flink关系对照

Flink Data Type

Hive Data Type

CHAR(p)

CHAR(p)

VARCHAR(p)

VARCHAR(p)

STRING

STRING

BOOLEAN

BOOLEAN

TINYINT

TINYINT

SMALLINT

SMALLINT

INT

INT

BIGINT

LONG

FLOAT

FLOAT

DOUBLE

DOUBLE

DECIMAL(p, s)

DECIMAL(p, s)

DATE

DATE

TIMESTAMP(9)

TIMESTAMP

BYTES

BINARY

ARRAY<T>

LIST<T>

MAP

MAP

ROW

STRUCT

相关文档