更新时间:2026-11-06 GMT+08:00
分享

FlinkSQL SPLIT_INDEX函数性能优化

使用场景

使用FlinkSQL内置SPLIT_INDEX函数解析一个字符串的多个字段时,开启SPLIT_INDEX函数性能优化后,当解析同一个字符串的多个字段时,复用上次split的解析结果,提升计算性能。

使用方法

可通过以下两种方式配置table.optimizing.split-index-optimization为true,以开启SPLIT_INDEX函数性能优化:

  • 方式一:配置Flink作业时,在作业flink_config参数中添加该自定义参数。
  • 方式二:在端点的Flink参数中添加该自定义参数。

SQL示例

CREATE TABLE datagen (
  auction BIGINT,
  bidder BIGINT,
  price BIGINT,
  channel VARCHAR,
  url VARCHAR
)
WITH
  ('connector' = 'datagen');

CREATE TABLE blackhole (
  auction BIGINT,
  bidder BIGINT,
  price BIGINT,
  channel VARCHAR,
  dir1 VARCHAR,
  dir2 VARCHAR,
  dir3 VARCHAR
)
WITH
  ('connector' = 'blackhole');

INSERT INTO
  blackhole
SELECT
  auction,
  bidder,
  price,
  channel,
  SPLIT_INDEX (url, '/', 3) as dir1,
  SPLIT_INDEX (url, '/', 4) as dir2,
  SPLIT_INDEX (url, '/', 5) as dir3
FROM
  datagen;

相关文档