SET语句
概述
SET是Flink SQL的会话配置管理语句。SET用于设置指定配置项的值。在AI DataLake中,通过SET可动态调整作业运行参数,无需重启作业即可影响后续SQL的执行行为。
适用场景
- 调整并行度:通过SET修改parallelism.default,控制作业的并行执行度。
- 切换运行模式:通过SET修改execution.runtime-mode,在流模式和批模式间切换。
- 调优状态TTL:通过SET修改table.exec.state.ttl,控制状态保留时长以平衡性能与正确性。
- 配置检查点:通过SET修改execution.checkpointing.*系列参数,控制检查点行为。
- 排查问题:通过SET查看当前所有配置,确认参数是否生效。
约束与限制
- SET仅影响当前会话,不会持久化到全局配置。
- 部分配置项修改后仅对后续提交的作业生效,已运行中的作业不受影响。
- SET设置的值在会话结束后自动失效。
- 部分配置项在AI DataLake平台上的支持范围可能与开源Flink不同,请以实际环境为准。
语法结构
修改配置
SET ('key' = 'value') 常用配置参数
| 参数 | 默认值 | 说明 |
|---|---|---|
| parallelism.default | 1 | 作业默认并行度。 |
| execution.runtime-mode | STREAMING | 运行模式,可选STREAMING或BATCH。 |
| table.exec.state.ttl | 0 ms | 状态生存时间,超过该时间未访问的状态将被清理。 |
| table.exec.source.idle-timeout | 0 ms | Source空闲超时时间,空闲标记用于Watermark推进。 |
| execution.checkpointing.interval | 无 | 检查点触发间隔。 |
| execution.checkpointing.mode | EXACTLY_ONCE | 检查点模式,可选EXACTLY_ONCE或AT_LEAST_ONCE。 |
| execution.checkpointing.timeout | 10 min | 检查点超时时间。 |
| state.backend | hashmap | 状态后端类型,可选hashmap或rocksdb。 |
使用示例
示例1:查看和设置并行度
-- 创建DataGen源表 CREATE TABLE datagen_source ( id BIGINT, name STRING, amount DECIMAL(10, 2) ) WITH ( 'connector' = 'datagen', 'rows-per-second' = '100', 'fields.id.kind' = 'sequence', 'fields.id.start' = '1', 'fields.id.end' = '10000', 'fields.name.length' = '8' ); -- 创建Print结果表 CREATE TABLE print_sink ( id BIGINT, name STRING, amount DECIMAL(10, 2) ) WITH ( 'connector' = 'print', 'print-identifier' = 'set_demo' ); -- 设置并行度为4 SET 'parallelism.default' = '4'; -- 提交作业 INSERT INTO print_sink SELECT id, name, amount FROM datagen_source;
示例2:设置检查点和运行模式
-- 创建DataGen源表 CREATE TABLE datagen_source ( order_id BIGINT, customer_id INT, order_time TIMESTAMP(3), WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND ) WITH ( 'connector' = 'datagen', 'rows-per-second' = '50', 'fields.order_id.kind' = 'sequence', 'fields.order_id.start' = '1', 'fields.order_id.end' = '50000', 'fields.customer_id.min' = '1', 'fields.customer_id.max' = '1000' ); -- 创建Print结果表 CREATE TABLE print_sink ( order_id BIGINT, customer_id INT ) WITH ( 'connector' = 'print', 'print-identifier' = 'checkpoint_demo' ); -- 设置检查点间隔为30秒 SET 'execution.checkpointing.interval' = '30s'; -- 设置检查点模式为EXACTLY_ONCE SET 'execution.checkpointing.mode' = 'EXACTLY_ONCE'; -- 设置状态TTL为1小时 SET 'table.exec.state.ttl' = '3600000 ms'; -- 提交作业 INSERT INTO print_sink SELECT order_id, customer_id FROM datagen_source;