Hive配置与类型
WITH参数说明
| 参数 | 是否必填 | 类型 | 默认值 | 取值范围 | 说明 |
|---|---|---|---|---|---|
| connector | 是 | String | 无 | hive | 标识连接器类型为Hive连接器。 必须填写且值固定为hive。Flink运行时根据此值加载Hive连接器工厂类,将表声明为Hive数据源或输出表。 |
| hive.storage.file-format | 否 | String | TEXTFILE | TEXTFILE /SEQUENCEFILE /RCFILE/ORC/PARQUET/AVRO | 指定hive表的存储格式。 不填则默认使用TEXTFILE。 只能填写TEXTFILE /SEQUENCEFILE /RCFILE/ORC/PARQUET/AVRO,枚举值大小写不敏感。 |
| hive.serde.info.prop.field.delim | 否 | String | 无 | 有效分隔符 | 配置hive表数据分隔符,例如csv格式配置hive.serde.info.prop.field.delim=',' 生效场景:TEXTFILE和SEQUENCEFILE的SerializationLib配置为org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe时生效。 |
| hive.location-uri | 否 | String | 无 | 有效路径 | 配置hive表的存储位置,请确保填入有效的OBS路径格式,例如obs://bucket/hive/hive_database/hive_tablename。 注意事项:需要有该路径的权限,且表存储路径须为空,若路径已存在数据或被其他表占用将导致建表失败。请使用新路径或先清理已有数据。 |
| 参数 | 是否必填 | 类型 | 默认值 | 取值范围 | 说明 |
|---|---|---|---|---|---|
| streaming-source.enable | 否 | Boolean | false | true / false | 控制是否启用流式读取Hive表。 默认为false即批式读取。仅在分区表上生效,非分区表即使设置为true也只会批式读取。Flink运行时启用后将持续扫描分区目录,发现新分区后自动读取数据向下游输出,实现Hive表的增量消费。 |
| streaming-source.monitor-interval | 否 | Duration | 1min | 正整数(毫秒/秒/分) | 设置流式读取时监控新分区的间隔时间。 仅在streaming-source.enable为true时生效。Flink运行时启动后台线程按此间隔定期查询Hive Metastore获取分区列表变化,间隔越短发现新分区越快但Metastore负载越高。 |
| streaming-source.consume-order | 否 | String | created | created / partition-name | 指定流式读取时消费分区的顺序。 仅在streaming-source.enable为true时生效。
Flink运行时根据此顺序决定分区的消费优先级,影响数据到达下游的时序。 |
| streaming-source.consume-start-offset | 否 | String | 无 | 时间戳/分区值 | 指定流式读取的起始偏移量,仅消费该偏移量之后的分区。仅在streaming-source.enable为true时生效。Flink运行时根据此偏移量过滤历史分区,跳过已存在的旧分区数据,从指定位置开始增量消费。 |
| 参数 | 是否必填 | 类型 | 默认值 | 取值范围 | 说明 |
|---|---|---|---|---|---|
| sink.rolling-policy.rollover-interval | 否 | Duration | 1h | 正整数 | 设置滚动写入策略中文件打开后超过此时间将滚动关闭。需开启Checkpoint,数据在Checkpoint时才真正提交。Flink运行时在每次Checkpoint时检查文件打开时长是否超过此阈值,超时则关闭当前文件并开始写入新文件,影响Hive表数据的可见频率。 |
| sink.rolling-policy.check-interval | 否 | Duration | 1min | 正整数 | 设置检查滚动策略的间隔时间。Flink运行时启动后台线程按此间隔检查是否有文件满足滚动条件(时间、大小、空闲等),检查间隔越短文件滚动越及时但检查开销越大。 |
| sink.rolling-policy.inactivity-interval | 否 | Duration | 0 | 正整数 | 设置滚动写入策略中文件无新数据写入超过此时间将滚动关闭。0表示禁用此策略。Flink运行时在检查间隔中判断文件的最后写入时间,超过此阈值则关闭文件,避免空闲文件长时间占用资源。 |
| sink.rolling-policy.file-size | 否 | MemorySize | 128MB | 正整数 | 设置滚动写入策略中文件大小超过此值将滚动关闭。Flink运行时在检查间隔中判断当前写入文件的大小,超过此阈值则关闭当前文件并开始写入新文件,防止单个文件过大影响读取性能。 |
| hive.exec.dynamic.partition | 否 | Boolean | true | true / false | 控制是否启用动态分区写入。 设置为false时所有分区列必须静态指定。Flink运行时根据此参数决定写入数据时分区的确定方式,true模式下根据数据中的分区字段值自动路由到对应分区。 |
| hive.exec.dynamic.partition.mode | 否 | String | strict | strict / nonstrict | 指定动态分区模式。仅在hive.exec.dynamic.partition为true时生效。
Flink运行时在写入数据时根据此模式校验分区列的指定方式,nonstrict模式更灵活但需确保分区字段值合理。 |
数据类型
| Flink Data Type | Hive Data Type |
|---|---|
| CHAR(p) | CHAR(p) |
| VARCHAR(p) | VARCHAR(p) |
| STRING | STRING |
| BOOLEAN | BOOLEAN |
| TINYINT | TINYINT |
| SMALLINT | SMALLINT |
| INT | INT |
| BIGINT | LONG |
| FLOAT | FLOAT |
| DOUBLE | DOUBLE |
| DECIMAL(p, s) | DECIMAL(p, s) |
| DATE | DATE |
| TIMESTAMP(9) | TIMESTAMP |
| BYTES | BINARY |
| ARRAY<T> | LIST<T> |
| MAP | MAP |
| ROW | STRUCT |