Kafka连接

介绍

通过Kafka连接器可以与开源的Kafka数据源建立连接，并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。

连接样例

  {
  "links": [
    {
      "link-config-values": {
        "configs": [
          {
            "inputs": [
              {
                "name": "linkConfig.hadoopType",
                "value": "MRS"
              },
              {
                "name": "linkConfig.host",
                "value": "192.168.1.147"
              },
              {
                "name": "linkConfig.user",
                "value": "liuhuan1"
              },
              {
                "name": "linkConfig.password",
                "value": "Add password here."
              },
              {
                "name": "linkConfig.authType",
                "value": "KERBEROS"
              }
            ],
            "name": "linkConfig"
          }
        ],
        "extended-configs": {
          "name": "linkConfig.extendedFields",
          "value": "e30="
        }
      },
      "name": "mrs_kafka_link",
      "connector-name": "kafka-connector"
    }
  ]
}

连接参数

参数	是否必选	类型	说明
linkConfig.hadoopType	是	枚举	Hadoop类型： MRS：表示连接MRS的Kafka。 Apache Kafka：表示连接Apache Kafka的Kafka。
linkConfig.brokerList	是	String	Apache Kafka 连接需配置此参数。Kafka broker列表，格式如：“host1:port1,host2:port2”。
linkConfig.host	是	String	MRS Manager的浮动IP地址，可以单击输入框后的“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。
linkConfig.user	是	String	登录MRS Manager平台的用户名。
linkConfig.password	是	String	登录MRS Manager平台的密码。
linkConfig.authType	是	枚举	认证类型，分为以下两种： Simple：非安全模式选择Simple鉴权。 Kerberos：安全模式选择Kerberos鉴权。
linkConfig.properties	否	Map	属性配置，可以添加客户端的配置属性，所添加的每个属性需配置属性名称和值