更新时间:2026-11-06 GMT+08:00
Flink On Iceberg支持VARIANT数据类型
使用场景
Flink写Iceberg,支持动态变化和嵌套的半结构化数据。
约束与限制
- 仅支持Iceberg V3表。
- 仅支持Iceberg Parquet format。
相关函数
VARIANT PARSE_JSON(VARCHAR jsonStr [, BOOLEAN allowDuplicateKeys]) VARIANT TRY_PARSE_JSON(VARCHAR jsonStr [, BOOLEAN allowDuplicateKeys])
| 参数 | 数据类型 | 说明 |
|---|---|---|
| jsonStr | VARCHAR | 需要解析的JSON字符串。 如果jsonStr参数值为NULL时,则返回值为NULL。 |
| allowDuplicateKeys | BOOLEAN | 可选,取值如下:
|
| 函数 | 默认错误处理机制 | 非法JSON输入返回值 | 容错需求场景 |
|---|---|---|---|
| PARSE_JSON | 显式报错。 | 默认抛出异常。 | 需严格校验输入合法性。 |
| TRY_PARSE_JSON | 静默容错。 | 默认返回NULL。 | 需兼容异常数据流。 |
使用方法
- 新建一个Iceberg表,例如iceberg_catalog.`default`.iceberg_table的代码示例如下。
CREATE TABLE IF NOT EXISTS iceberg_catalog.`default`.iceberg_table ( id BIGINT, test_data1 VARIANT, test_data2 VARIANT ) WITH ('format-version' = '3'); - 写VARIANT类型,SQL示例:
CREATE TABLE datagen (id BIGINT) WITH ( 'connector' = 'datagen', 'rows-per-second' = '1' ); INSERT INTO iceberg_catalog.`default`.iceberg_table SELECT id, PARSE_JSON ( '{"user":{"name":"Bob","address":{"city":"Shanghai","zip":"200000"}},"tags":["dev","flink"]}' ), TRY_PARSE_JSON ( '{"user":{"name":"Bob","address":{"city":"Shanghai","zip":"200000"}},"tags":["dev","flink"]}' ) FROM datagen; - 读VARIANT类型,SQL示例:
CREATE TABLE print WITH ('connector' = 'print') AS SELECT id, JSON_VALUE (test_data1, '$.user.name'), JSON_VALUE (test_data2, '$.tags[0]') FROM iceberg_catalog.`default`.iceberg_table /*+ OPTIONS('streaming'='true', 'monitor-interval'='60s') */;
父主题: Flink增强特性使用介绍