Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接，并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":

查看更多 →

Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接，并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":

查看更多 →

连接Kafka 连接未开启SASL的Kafka实例 连接已开启SASL的Kafka实例 Kafka Manager 跨VPC访问Kafka实例 使用DNAT访问Kafka实例 制作并替换证书 配置SSL双向认证

查看更多 →

配置Kafka连接 MRS Kafka 连接MRS上的Kafka数据源时，相关参数如表1所示。 表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 kafka_link Manager IP MRS

查看更多 →

DMS Kafka连接 介绍 通过DMS Kafka连接，可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到 云搜索 服务。 连接样例 { "links": [ { "link-config-values": {

查看更多 →

配置Kafka连接 MRS Kafka 连接MRS上的Kafka数据源时，相关参数如表1所示。 表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 kafka_link Manager IP MRS

查看更多 →

DMS Kafka连接 介绍 通过DMS Kafka连接，可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 连接样例 { "links": [ { "link-config-values": {

查看更多 →

配置DMS Kafka连接 连接DMS的Kafka队列时，相关参数如表1所示。 表1 DMS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dms_link 服务类型 选择DMS Kafka版本，目前只有专享版。

查看更多 →

配置DMS Kafka连接 连接DMS的Kafka队列时，相关参数如表1所示。 表1 DMS Kafka连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dms_link 服务类型 选择DMS Kafka版本，目前只有专享版。

查看更多 →

配置如下目标连接参数。更多创建Kafka目标连接参数的详细介绍，请参考创建目标连接。 类型：选择“分布式消息服务 Kafka版” 名称：kafka-connect 实例：选择“eg-kafka” SASL_SSL 认证机制：SC RAM -SHA-512 用户名：kafka实例的用户名“kafka-name”，

查看更多 →

Spark连接Kafka认证错误 问题现象 MRS 2.1.0版本集群中Spark消费kafka数据，过一天以后就会出现认证失败的报错： 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS

查看更多 →

Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址，且MQS同时开启了SSL与VPC内网明文访问时，“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后，仍然连接失败，可参考数据源连接测试失败排查操作进行问题排查。 父主题： 数据源

查看更多 →

Kafka连接问题排查和解决 概述 本章节主要描述Kafka连接问题的排查和解决。 问题分类 当您发现与Kafka实例连接出现异常时，可以根据本文的内容，从以下几个方面进行排查。 检查网络 检查Consumer和Producer的配置 客户端连接问题-Java客户端 客户端连接问题-Go客户端

查看更多 →

配置MRS Kafka数据连接 表1 MRS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 MRS Kafka连接固定选择为MapReduce服务（MRS Kafka）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。

查看更多 →

如果实例开启了VPC内网明文访问，使用内网连接实例时，数据将使用明文传输，连接步骤请参考连接未开启SASL的Kafka实例。 本章节主要描述使用命令行模式连接Kafka实例，如果是在业务代码中连接Kafka实例，请参考Kafka实例开发指南。 前提条件 已配置正确的安全组。 访问开启SASL的Kafka实例时，实

查看更多 →

Kafka实例连接数有限制吗？ 不同规格的Kafka实例，连接数限制如下： 基准带宽为100MB/s时，Kafka客户端连接数在3000以内。 基准带宽为300MB/s时，Kafka客户端连接数在10000以内。 基准带宽为600MB/s时，Kafka客户端连接数在20000以内。

查看更多 →

连接未开启SASL的Kafka实例 本章节介绍如何使用开源的Kafka客户端访问未开启SASL的Kafka实例的方法，其中包含在内网中通过同一个VPC连接实例和通过公网连接实例两个场景。如果是跨VPC访问实例，请参考跨VPC访问Kafka实例。如果是使用DNAT访问实例，请参考使用DNAT访问Kafka实例。

查看更多 →

Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： 使用开源jar包冲突列表

查看更多 →

Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题： 组件介绍

查看更多 →

Kafka 适用场景 规则 建议 父主题： 开发规范

查看更多 →