更新时间:2026-11-06 GMT+08:00
分享

Flink On Iceberg支持VARIANT数据类型

使用场景

Flink写Iceberg,支持动态变化和嵌套的半结构化数据。

约束与限制

  • 仅支持Iceberg V3表。
  • 仅支持Iceberg Parquet format。

相关函数

VARIANT PARSE_JSON(VARCHAR jsonStr [, BOOLEAN allowDuplicateKeys])
VARIANT TRY_PARSE_JSON(VARCHAR jsonStr [, BOOLEAN allowDuplicateKeys])

参数

数据类型

说明

jsonStr

VARCHAR

需要解析的JSON字符串。

如果jsonStr参数值为NULL时,则返回值为NULL。

allowDuplicateKeys

BOOLEAN

可选,取值如下:

  • true:保留JSON字符串最后一个重复key的值。
  • false(默认值):JSON字符串中如出现重复的key则返回NULL。

函数

默认错误处理机制

非法JSON输入返回值

容错需求场景

PARSE_JSON

显式报错。

默认抛出异常。

需严格校验输入合法性。

TRY_PARSE_JSON

静默容错。

默认返回NULL。

需兼容异常数据流。

使用方法

  1. 新建一个Iceberg表,例如iceberg_catalog.`default`.iceberg_table的代码示例如下。

    CREATE TABLE IF NOT EXISTS iceberg_catalog.`default`.iceberg_table (
      id BIGINT,
      test_data1 VARIANT, 
      test_data2 VARIANT
    ) WITH
      ('format-version' = '3');

  2. 写VARIANT类型,SQL示例:

    CREATE TABLE datagen (id BIGINT)
    WITH
      (
        'connector' = 'datagen',
        'rows-per-second' = '1'
      );
    
    INSERT INTO
      iceberg_catalog.`default`.iceberg_table
    SELECT
      id,
      PARSE_JSON (
        '{"user":{"name":"Bob","address":{"city":"Shanghai","zip":"200000"}},"tags":["dev","flink"]}'
      ),
      TRY_PARSE_JSON (
        '{"user":{"name":"Bob","address":{"city":"Shanghai","zip":"200000"}},"tags":["dev","flink"]}'
      )
    FROM
      datagen;

  3. 读VARIANT类型,SQL示例:

    CREATE TABLE print
    WITH
      ('connector' = 'print') AS
    SELECT
      id,
      JSON_VALUE (test_data1, '$.user.name'),
      JSON_VALUE (test_data2, '$.tags[0]')
    FROM
      iceberg_catalog.`default`.iceberg_table /*+ OPTIONS('streaming'='true', 'monitor-interval'='60s') */;

相关文档