更新时间:2026-11-06 GMT+08:00
BlackHole连接器
概述
BlackHole连接器是一个黑洞Sink,丢弃所有写入的数据,不产生任何输出。它类似于Unix系统中的/dev/null,用于不需要实际输出的场景。
| 类别 | 详情 |
|---|---|
| 支持类型 | 结果表 |
| 运行模式 | 批模式和流模式 |
| 数据格式 | 暂不适用 |
| API种类 | SQL |
| 是否支持更新或删除结果表数据 | 是 |
适用场景
- 性能测试:测试Flink SQL作业的Source端和计算层吞吐量,排除Sink端I/O影响。
- 逻辑验证:验证SQL语法和作业DAG是否正确构建,无需关心输出结果。
- 开发调试:在仅需观察Source或中间处理结果的场景下,作为最终Sink占位。
约束与限制
- 仅支持作为Sink使用,不支持作为Source。
- 所有写入数据将被丢弃,无法恢复。
- 不适用于生产环境的数据持久化场景。
语法结构
CREATE TABLE {table_name} (
{column_name} {column_type},
...
) WITH (
'connector' = 'blackhole'
); WITH参数说明
| 参数 | 是否必填 | 类型 | 默认值 | 取值范围 | 说明 |
|---|---|---|---|---|---|
| connector | 是 | String | 无 | blackhole | 标识连接器类型为BlackHole连接器。 必须填写且值固定为blackhole。Flink运行时根据此值加载对应的BlackHole SinkFactory,所有写入数据在运行时被直接丢弃,不产生任何I/O操作。 |
BlackHole连接器除connector参数外,无需配置任何其他参数。
使用示例
- 示例1:创建一个BlackHole Sink表,丢弃所有写入数据。
-- 创建DataGen源表 CREATE TABLE datagen_source ( id BIGINT, name STRING, `value` DOUBLE ) WITH ( 'connector' = 'datagen', 'rows-per-second' = '1000', 'fields.id.kind' = 'sequence', 'fields.id.start' = '1', 'fields.id.end' = '100000' ); -- 创建BlackHole结果表 CREATE TABLE blackhole_sink ( id BIGINT, name STRING, `value` DOUBLE ) WITH ( 'connector' = 'blackhole' ); -- 提交作业 INSERT INTO blackhole_sink SELECT id, name, `value` FROM datagen_source;
- 示例2:使用DataGen生成高吞吐量数据,通过BlackHole Sink接收,测试Source端和计算层的纯处理能力。
-- 创建DataGen源表(高吞吐量配置) CREATE TABLE datagen_source ( id BIGINT, payload STRING, event_time TIMESTAMP(3), WATERMARK FOR event_time AS event_time - INTERVAL '1' SECOND ) WITH ( 'connector' = 'datagen', 'rows-per-second' = '100000', 'fields.id.kind' = 'sequence', 'fields.id.start' = '1', 'fields.id.end' = '10000000', 'fields.payload.length' = '100' ); -- 创建BlackHole结果表 CREATE TABLE blackhole_sink ( id BIGINT, payload STRING, event_time TIMESTAMP(3) ) WITH ( 'connector' = 'blackhole' ); -- 提交作业:测试纯处理吞吐量 INSERT INTO blackhole_sink SELECT id, payload, event_time FROM datagen_source;
- 示例3:作业需要将数据分流处理,部分数据写入Kafka,另一部分数据暂不需要输出,使用BlackHole作为占位。
-- 创建DataGen源表 CREATE TABLE datagen_source ( user_id INT, event_type STRING, event_time TIMESTAMP(3) ) WITH ( 'connector' = 'datagen', 'rows-per-second' = '100', 'fields.user_id.kind' = 'sequence', 'fields.user_id.start' = '1', 'fields.user_id.end' = '100000' ); -- 主输出:写入Kafka CREATE TABLE kafka_sink ( user_id INT, event_type STRING, event_time TIMESTAMP(3) ) WITH ( 'connector' = 'kafka', 'topic' = 'user-events', 'properties.bootstrap.servers' = 'kafka-broker:9092', 'format' = 'json' ); -- 占位输出:丢弃不需要的数据 CREATE TABLE blackhole_sink ( user_id INT, event_type STRING, event_time TIMESTAMP(3) ) WITH ( 'connector' = 'blackhole' ); -- 分流处理:登录事件写入Kafka,其他事件丢弃 EXECUTE STATEMENT SET BEGIN INSERT INTO kafka_sink SELECT user_id, event_type, event_time FROM datagen_source WHERE event_type = 'login'; INSERT INTO blackhole_sink SELECT user_id, event_type, event_time FROM datagen_source WHERE event_type <> 'login'; END;
父主题: 连接器