更新时间:2024-12-11 GMT+08:00
分享

Hive维表

功能描述

您可以将Hive表用作时态表,通过时态连接来关联Hive表。有关时态连接的详细信息,请参阅 temporal join

Flink支持processing-time temporal join Hive Table,processing-time temporal join始终会加入最新版本的时态表。Flink支持分区表和 Hive非分区表的临时连接,对于分区表,Flink 支持自动跟踪Hive表的最新分区。详情可参考:Apache Flink Hive Read & Write

注意事项

  • Flink目前不支持与Hive表进行基于事件时间event-time的时间关联。
  • Temporal Join The Latest Partition 特性,仅在 Flink STREAMING 模式下支持。
  • 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
  • 数据类型的使用,请参考Format章节。
  • Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI Lakehouse表。
    • 使用Hive语法创建OBS表
      • defalut方言: with 属性中需要设置hive.is-external为true。
      • 使用hive 方言:建表语句需要使用EXTERNAL关键字。
    • 使用hive语法的DLI Lakehouse表
      • 使用hive 方言:表属性中需要添加'is_lakehouse'='true'。
  • 创建Flink OpenSource SQL作业时,在作业编辑界面配置开启checkpoint功能。

语法格式、参数说明

请参考Hive源表的语法格式和参数说明。

相关文档