Hive维表
功能描述
您可以将Hive表用作时态表,通过时态连接来关联Hive表。有关时态连接的详细信息,请参阅 temporal join。
Flink支持processing-time temporal join Hive Table,processing-time temporal join始终会加入最新版本的时态表。Flink支持分区表和 Hive非分区表的临时连接,对于分区表,Flink 支持自动跟踪Hive表的最新分区。详情可参考:Apache Flink Hive Read & Write
注意事项
- Flink目前不支持与Hive表进行基于事件时间event-time的时间关联。
- Temporal Join The Latest Partition 特性,仅在 Flink STREAMING 模式下支持。
- 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
- 数据类型的使用,请参考Format章节。
- Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI Lakehouse表。
- 使用Hive语法创建OBS表
- defalut方言: with 属性中需要设置hive.is-external为true。
- 使用hive 方言:建表语句需要使用EXTERNAL关键字。
- 使用hive语法的DLI Lakehouse表
- 使用hive 方言:表属性中需要添加'is_lakehouse'='true'。
- 使用Hive语法创建OBS表
- 创建Flink OpenSource SQL作业时,在作业编辑界面配置开启checkpoint功能。
语法格式、参数说明
请参考Hive源表的语法格式和参数说明。