更新时间:2026-11-06 GMT+08:00
分享

SET语句

概述

SET是Flink SQL的会话配置管理语句。SET用于设置指定配置项的值。在AI DataLake中,通过SET可动态调整作业运行参数,无需重启作业即可影响后续SQL的执行行为。

适用场景

  • 调整并行度:通过SET修改parallelism.default,控制作业的并行执行度。
  • 切换运行模式:通过SET修改execution.runtime-mode,在流模式和批模式间切换。
  • 调优状态TTL:通过SET修改table.exec.state.ttl,控制状态保留时长以平衡性能与正确性。
  • 配置检查点:通过SET修改execution.checkpointing.*系列参数,控制检查点行为。
  • 排查问题:通过SET查看当前所有配置,确认参数是否生效。

约束与限制

  • SET仅影响当前会话,不会持久化到全局配置。
  • 部分配置项修改后仅对后续提交的作业生效,已运行中的作业不受影响。
  • SET设置的值在会话结束后自动失效。
  • 部分配置项在AI DataLake平台上的支持范围可能与开源Flink不同,请以实际环境为准。

语法结构

修改配置

SET ('key' = 'value')

常用配置参数

参数

默认值

说明

parallelism.default

1

作业默认并行度。

execution.runtime-mode

STREAMING

运行模式,可选STREAMING或BATCH。

table.exec.state.ttl

0 ms

状态生存时间,超过该时间未访问的状态将被清理。

table.exec.source.idle-timeout

0 ms

Source空闲超时时间,空闲标记用于Watermark推进。

execution.checkpointing.interval

无

检查点触发间隔。

execution.checkpointing.mode

EXACTLY_ONCE

检查点模式,可选EXACTLY_ONCE或AT_LEAST_ONCE。

execution.checkpointing.timeout

10 min

检查点超时时间。

state.backend

hashmap

状态后端类型,可选hashmap或rocksdb。

使用示例

示例1:查看和设置并行度

-- 创建DataGen源表
CREATE TABLE datagen_source (
id BIGINT,
name STRING,
amount DECIMAL(10, 2)
) WITH (
'connector' = 'datagen',
'rows-per-second' = '100',
'fields.id.kind' = 'sequence',
'fields.id.start' = '1',
'fields.id.end' = '10000',
'fields.name.length' = '8'
);
-- 创建Print结果表
CREATE TABLE print_sink (
id BIGINT,
name STRING,
amount DECIMAL(10, 2)
) WITH (
'connector' = 'print',
'print-identifier' = 'set_demo'
);
-- 设置并行度为4
SET 'parallelism.default' = '4';
-- 提交作业
INSERT INTO print_sink
SELECT id, name, amount
FROM datagen_source;

示例2:设置检查点和运行模式

-- 创建DataGen源表
CREATE TABLE datagen_source (
order_id BIGINT,
customer_id INT,
order_time TIMESTAMP(3),
WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND
) WITH (
'connector' = 'datagen',
'rows-per-second' = '50',
'fields.order_id.kind' = 'sequence',
'fields.order_id.start' = '1',
'fields.order_id.end' = '50000',
'fields.customer_id.min' = '1',
'fields.customer_id.max' = '1000'
);
-- 创建Print结果表
CREATE TABLE print_sink (
order_id BIGINT,
customer_id INT
) WITH (
'connector' = 'print',
'print-identifier' = 'checkpoint_demo'
);
-- 设置检查点间隔为30秒
SET 'execution.checkpointing.interval' = '30s';
-- 设置检查点模式为EXACTLY_ONCE
SET 'execution.checkpointing.mode' = 'EXACTLY_ONCE';
-- 设置状态TTL为1小时
SET 'table.exec.state.ttl' = '3600000 ms';
-- 提交作业
INSERT INTO print_sink
SELECT order_id, customer_id
FROM datagen_source;

相关文档