文档首页/ 数据湖探索 DLI/ 常见问题/ Flink作业类/ Flink SQL作业类/ Flink SQL作业Kafka分区数增加或减少,怎样不停止Flink作业实现动态感知?
更新时间:2024-11-08 GMT+08:00

Flink SQL作业Kafka分区数增加或减少,怎样不停止Flink作业实现动态感知?

问题描述

用户执行Flink Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大,后期需要更改Kafka区分数。

解决方案

在SQL语句中添加如下参数:

connector.properties.flink.partition-discovery.interval-millis="3000" 

增加或减少Kafka分区数,不用停止Flink作业,可实现动态感知。