更新时间:2026-11-06 GMT+08:00
分享

BlackHole连接器

概述

BlackHole连接器是一个黑洞Sink,丢弃所有写入的数据,不产生任何输出。它类似于Unix系统中的/dev/null,用于不需要实际输出的场景。

表1 连接器详情

类别

详情

支持类型

结果表

运行模式

批模式和流模式

数据格式

暂不适用

API种类

SQL

是否支持更新或删除结果表数据

是

适用场景

  • 性能测试:测试Flink SQL作业的Source端和计算层吞吐量,排除Sink端I/O影响。
  • 逻辑验证:验证SQL语法和作业DAG是否正确构建,无需关心输出结果。
  • 开发调试:在仅需观察Source或中间处理结果的场景下,作为最终Sink占位。

约束与限制

  • 仅支持作为Sink使用,不支持作为Source。
  • 所有写入数据将被丢弃,无法恢复。
  • 不适用于生产环境的数据持久化场景。

语法结构

CREATE TABLE {table_name} (
  {column_name} {column_type},
  ...
) WITH (
  'connector' = 'blackhole'
);

WITH参数说明

参数

是否必填

类型

默认值

取值范围

说明

connector

是

String

无

blackhole

标识连接器类型为BlackHole连接器。

必须填写且值固定为blackhole。Flink运行时根据此值加载对应的BlackHole SinkFactory,所有写入数据在运行时被直接丢弃,不产生任何I/O操作。

BlackHole连接器除connector参数外,无需配置任何其他参数。

使用示例

  • 示例1:创建一个BlackHole Sink表,丢弃所有写入数据。
    -- 创建DataGen源表
    CREATE TABLE datagen_source (
      id BIGINT,
      name STRING,
      `value` DOUBLE
    ) WITH (
      'connector' = 'datagen',
      'rows-per-second' = '1000',
      'fields.id.kind' = 'sequence',
      'fields.id.start' = '1',
      'fields.id.end' = '100000'
    );
    
    -- 创建BlackHole结果表
    CREATE TABLE blackhole_sink (
      id BIGINT,
      name STRING,
      `value` DOUBLE
    ) WITH (
      'connector' = 'blackhole'
    );
    
    -- 提交作业
    INSERT INTO blackhole_sink
    SELECT id, name, `value`
    FROM datagen_source;
  • 示例2:使用DataGen生成高吞吐量数据,通过BlackHole Sink接收,测试Source端和计算层的纯处理能力。
    -- 创建DataGen源表(高吞吐量配置)
    CREATE TABLE datagen_source (
      id BIGINT,
      payload STRING,
      event_time TIMESTAMP(3),
      WATERMARK FOR event_time AS event_time - INTERVAL '1' SECOND
    ) WITH (
      'connector' = 'datagen',
      'rows-per-second' = '100000',
      'fields.id.kind' = 'sequence',
      'fields.id.start' = '1',
      'fields.id.end' = '10000000',
      'fields.payload.length' = '100'
    );
    
    -- 创建BlackHole结果表
    CREATE TABLE blackhole_sink (
      id BIGINT,
      payload STRING,
      event_time TIMESTAMP(3)
    ) WITH (
      'connector' = 'blackhole'
    );
    
    -- 提交作业:测试纯处理吞吐量
    INSERT INTO blackhole_sink
    SELECT id, payload, event_time
    FROM datagen_source;
  • 示例3:作业需要将数据分流处理,部分数据写入Kafka,另一部分数据暂不需要输出,使用BlackHole作为占位。
    -- 创建DataGen源表
    CREATE TABLE datagen_source (
      user_id INT,
      event_type STRING,
      event_time TIMESTAMP(3)
    ) WITH (
      'connector' = 'datagen',
      'rows-per-second' = '100',
      'fields.user_id.kind' = 'sequence',
      'fields.user_id.start' = '1',
      'fields.user_id.end' = '100000'
    );
    
    -- 主输出:写入Kafka
    CREATE TABLE kafka_sink (
      user_id INT,
      event_type STRING,
      event_time TIMESTAMP(3)
    ) WITH (
      'connector' = 'kafka',
      'topic' = 'user-events',
      'properties.bootstrap.servers' = 'kafka-broker:9092',
      'format' = 'json'
    );
    
    -- 占位输出:丢弃不需要的数据
    CREATE TABLE blackhole_sink (
      user_id INT,
      event_type STRING,
      event_time TIMESTAMP(3)
    ) WITH (
      'connector' = 'blackhole'
    );
    
    -- 分流处理:登录事件写入Kafka,其他事件丢弃
    EXECUTE STATEMENT SET 
    BEGIN
    INSERT INTO kafka_sink
    SELECT user_id, event_type, event_time
    FROM datagen_source
    WHERE event_type = 'login';
    
    INSERT INTO blackhole_sink
    SELECT user_id, event_type, event_time
    FROM datagen_source
    WHERE event_type <> 'login';
    END;

相关文档