Kafka连接
介绍
通过Kafka连接器可以与开源的Kafka数据源建立连接,并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。
连接样例
{ "links": [ { "link-config-values": { "configs": [ { "inputs": [ { "name": "linkConfig.hadoopType", "value": "MRS" }, { "name": "linkConfig.host", "value": "192.168.1.147" }, { "name": "linkConfig.user", "value": "liuhuan1" }, { "name": "linkConfig.password", "value": "Add password here." }, { "name": "linkConfig.authType", "value": "KERBEROS" } ], "name": "linkConfig" } ], "extended-configs": { "name": "linkConfig.extendedFields", "value": "e30=" } }, "name": "mrs_kafka_link", "connector-name": "kafka-connector" } ] }
连接参数
参数 |
是否必选 |
类型 |
说明 |
---|---|---|---|
linkConfig.hadoopType |
是 |
枚举 |
Hadoop类型:
|
linkConfig.brokerList |
是 |
String |
Apache Kafka 连接需配置此参数。Kafka broker列表,格式如:“host1:port1,host2:port2”。 |
llinkConfig.host |
是 |
String |
MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 |
linkConfig.user |
是 |
String |
登录MRS Manager平台的用户名。 |
linkConfig.password |
是 |
String |
登录MRS Manager平台的密码。 |
linkConfig.authType |
是 |
枚举 |
认证类型,分为以下两种:
|
linkConfig.properties |
否 |
Map |
属性配置,可以添加客户端的配置属性,所添加的每个属性需配置属性名称和值 |