Kafka
Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是Kafka集群中的核心组件，负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞吐量、低延迟、可靠性和持久性。它被广泛应用于大数据处理、实时数据流处理、日志收集等领域。
创建Kafka连接
- 登录新版ROMA Connect控制台。
- 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。
- 选择“Kafka”连接器。
- 在弹窗中配置连接器信息，完成后单击“确定”。
参数
说明
连接名称
填写连接器实例名称。
Brokers地址
填写Kafka的Brokers地址。
认证方式
选择Kafka的认证方式。
- SSL认证
- 无认证
SASL鉴权方式
仅当“认证方式”选择“SSL认证”时需要配置。
选择SASL鉴权方式。
- PLAIN
- SCRAM-SHA-512
SSL用户名
仅当“认证方式”选择“SSL认证”时需要配置。
填写SSL用户名/应用Key。
SSL密码
仅当“认证方式”选择“SSL认证”时需要配置。
填写SSL密码。
SSL证书格式
仅当“认证方式”选择“SSL认证”时需要配置。
选择SSL证书格式。
- PEM
- JKS
SSL证书
仅当“认证方式”选择“SSL认证”时需要配置。
填写经过base64编码的证书内容。
SSL证书密码
仅当“认证方式”选择“SSL认证”时需要配置。
填写SSL证书密码。
描述
填写连接器的描述信息，用于识别不同的连接器。
支持的动作
写入消息
配置参数
参数 |
说明 |
|---|---|
主题 |
填写需要监听的topic。 |
Partition |
消息将被写入的分区。 |
Key |
消息Key值。 |
Message |
消息内容。 |
Acks |
发送确认参数。
|
KeySerializer |
键的序列化方式，默认为org.apache.kafka.common.serialization.StringSerializer。 |
ValueSerializer |
值的序列化方式，默认为org.apache.kafka.common.serialization.StringSerializer。 |
BufferMemorySize |
producer可以用来缓存数据的内存大小，默认为33554432。 |
Retries |
重试次数。 |
