# Hive配置与类型
#### WITH参数说明
**通用参数**
| 参数         | 是否必填 | 类型      | 默认值 | 取值范围             | 说明                                                                                                                                                                      |
|:---|:---|:---|:---|:---|:---|
| connector | 是  | String | 无     | hive             | 标识连接器类型为Hive连接器。 必须填写且值固定为hive。Flink运行时根据此值加载Hive连接器工厂类，将表声明为Hive数据源或输出表。                             |
| hive.storage.file-format                 | 否                              | String                             | TEXTFILE                          | TEXTFILE /SEQUENCEFILE /RCFILE/ORC/PARQUET/AVRO | 指定hive表的存储格式。 不填则默认使用TEXTFILE。 只能填写TEXTFILE /SEQUENCEFILE /RCFILE/ORC/PARQUET/AVRO，枚举值大小写不敏感。                                |
| hive.serde.info.prop.field.delim         | 否                                | String                               | 无                                 | 有效分隔符                                           | 配置hive表数据分隔符，例如csv格式配置hive.serde.info.prop.field.delim=',' 生效场景：TEXTFILE和SEQUENCEFILE的SerializationLib配置为org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe时生效。 |
| hive.location-uri                        | 否                               | String                               | 无                                | 有效路径                                          | 配置hive表的存储位置，请确保填入有效的OBS路径格式，例如obs://bucket/hive/hive_database/hive_tablename。 注意事项：需要有该路径的权限，且表存储路径须为空，若路径已存在数据或被其他表占用将导致建表失败。请使用新路径或先清理已有数据。                 |
   
**Source参数**
| 参数                                   | 是否必填 | 类型     | 默认值  | 取值范围                     | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               |
|:---|:---|:---|:---|:---|:---|
| streaming-source.enable             | 否    | Boolean  | false | true / false              | 控制是否启用流式读取Hive表。 默认为false即批式读取。仅在分区表上生效，非分区表即使设置为true也只会批式读取。Flink运行时启用后将持续扫描分区目录，发现新分区后自动读取数据向下游输出，实现Hive表的增量消费。                                                                                                                                                                                                                                                                                                                                                                                                                                            |
| streaming-source.monitor-interval  | 否    | Duration | 1min | 正整数（毫秒/秒/分）              | 设置流式读取时监控新分区的间隔时间。 仅在streaming-source.enable为true时生效。Flink运行时启动后台线程按此间隔定期查询Hive Metastore获取分区列表变化，间隔越短发现新分区越快但Metastore负载越高。                                                                                                                                                                                                                                                                                                                                                                                                                                 |
| streaming-source.consume-order      | 否    | String  | created | created / partition-name | 指定流式读取时消费分区的顺序。 仅在streaming-source.enable为true时生效。 - created按分区创建时间排序消费。  - partition-name按分区名字典序排序消费。   Flink运行时根据此顺序决定分区的消费优先级，影响数据到达下游的时序。 |
| streaming-source.consume-start-offset | 否   | String  | 无     | 时间戳/分区值                  | 指定流式读取的起始偏移量，仅消费该偏移量之后的分区。仅在streaming-source.enable为true时生效。Flink运行时根据此偏移量过滤历史分区，跳过已存在的旧分区数据，从指定位置开始增量消费。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
   
**Sink参数**
| 参数                                       | 是否必填 | 类型          | 默认值    | 取值范围                 | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
|:---|:---|:---|:---|:---|:---|
| sink.rolling-policy.rollover-interval    | 否  | Duration     | 1h     | 正整数                   | 设置滚动写入策略中文件打开后超过此时间将滚动关闭。需开启Checkpoint，数据在Checkpoint时才真正提交。Flink运行时在每次Checkpoint时检查文件打开时长是否超过此阈值，超时则关闭当前文件并开始写入新文件，影响Hive表数据的可见频率。                                                                                                                                                                                                                                                                                                                                                                                                                                      |
| sink.rolling-policy.check-interval        | 否 | Duration     | 1min      | 正整数                   | 设置检查滚动策略的间隔时间。Flink运行时启动后台线程按此间隔检查是否有文件满足滚动条件（时间、大小、空闲等），检查间隔越短文件滚动越及时但检查开销越大。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
| sink.rolling-policy.inactivity-interval | 否  | Duration   | 0      | 正整数                   | 设置滚动写入策略中文件无新数据写入超过此时间将滚动关闭。0表示禁用此策略。Flink运行时在检查间隔中判断文件的最后写入时间，超过此阈值则关闭文件，避免空闲文件长时间占用资源。                                                                                                                                                                                                                                                                                                                                                                                                                                                                              |
| sink.rolling-policy.file-size             | 否  | MemorySize | 128MB  | 正整数                | 设置滚动写入策略中文件大小超过此值将滚动关闭。Flink运行时在检查间隔中判断当前写入文件的大小，超过此阈值则关闭当前文件并开始写入新文件，防止单个文件过大影响读取性能。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
| hive.exec.dynamic.partition             | 否  | Boolean     | true    | true / false         | 控制是否启用动态分区写入。 设置为false时所有分区列必须静态指定。Flink运行时根据此参数决定写入数据时分区的确定方式，true模式下根据数据中的分区字段值自动路由到对应分区。                                                                                                                                                                                                                                                                                                                                                                                                           |
| hive.exec.dynamic.partition.mode       | 否 | String     | strict | strict / nonstrict | 指定动态分区模式。仅在hive.exec.dynamic.partition为true时生效。 - strict要求至少一个静态分区列。  - nonstrict允许所有分区列都是动态的。   Flink运行时在写入数据时根据此模式校验分区列的指定方式，nonstrict模式更灵活但需确保分区字段值合理。 |
   
#### 数据类型
表1Hive与Flink关系对照 
| Flink Data Type  | Hive Data Type |
|:---|:---|
| CHAR(p)        | CHAR(p)          |
| VARCHAR(p)       | VARCHAR(p)      |
| STRING           | STRING         |
| BOOLEAN         | BOOLEAN         |
| TINYINT         | TINYINT       |
| SMALLINT       | SMALLINT        |
| INT             | INT           |
| BIGINT           | LONG             |
| FLOAT          | FLOAT          |
| DOUBLE         | DOUBLE           |
| DECIMAL(p, s) | DECIMAL(p, s)  |
| DATE           | DATE           |
| TIMESTAMP(9)  | TIMESTAMP      |
| BYTES             | BINARY         |
| ARRAY\<T\>     | LIST\<T\>      |
| MAP             | MAP            |
| ROW            | STRUCT           |
   
