更新时间:2024-01-16 GMT+08:00

Kafka连接

介绍

通过Kafka连接器可以与开源的Kafka数据源建立连接,并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。

连接样例

  {
  "links": [
    {
      "link-config-values": {
        "configs": [
          {
            "inputs": [
              {
                "name": "linkConfig.hadoopType",
                "value": "MRS"
              },
              {
                "name": "linkConfig.host",
                "value": "192.168.1.147"
              },
              {
                "name": "linkConfig.user",
                "value": "liuhuan1"
              },
              {
                "name": "linkConfig.password",
                "value": "Add password here."
              },
              {
                "name": "linkConfig.authType",
                "value": "KERBEROS"
              }
            ],
            "name": "linkConfig"
          }
        ],
        "extended-configs": {
          "name": "linkConfig.extendedFields",
          "value": "e30="
        }
      },
      "name": "mrs_kafka_link",
      "connector-name": "kafka-connector"
    }
  ]
}

连接参数

参数

是否必选

类型

说明

linkConfig.hadoopType

枚举

Hadoop类型:

  • MRS:表示连接MRS的Kafka。
  • Apache Kafka:表示连接Apache Kafka的Kafka。

linkConfig.brokerList

String

Apache Kafka 连接需配置此参数。Kafka broker列表,格式如:“host1:port1,host2:port2”

llinkConfig.host

String

MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。

linkConfig.user

String

登录MRS Manager平台的用户名。

linkConfig.password

String

登录MRS Manager平台的密码。

linkConfig.authType

枚举

认证类型,分为以下两种:
  • Simple:非安全模式选择Simple鉴权。
  • Kerberos:安全模式选择Kerberos鉴权。

linkConfig.properties

Map

属性配置,可以添加客户端的配置属性,所添加的每个属性需配置属性名称和值