执行以下命令切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令使用客户端工具查看帮助并使用。 ./kafka-console-consumer.sh：Kafka消息读取工具 ./kafka-console-producer.sh：Kafka消息发布工具

查看更多 →

配置Kafka客户端 Kafka客户端参数配置建议 Kafka客户端使用建议 父主题： 连接实例

查看更多 →

执行以下命令切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令使用客户端工具查看帮助并使用。 ./kafka-console-consumer.sh：Kafka消息读取工具 ./kafka-console-producer.sh：Kafka消息发布工具

查看更多 →

Kafka开源客户端获取 Kafka实例完全兼容开源客户端，如果您使用其他语言，也可以从Kafka官网获取客户端，按照Kafka官网提供的连接说明，与Kafka实例对接。

查看更多 →

执行以下命令切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令使用客户端工具查看帮助并使用。 ./kafka-console-consumer.sh：Kafka消息读取工具 ./kafka-console-producer.sh：Kafka消息发布工具

查看更多 →

Kafka客户端使用建议 consumer使用建议 consumer的owner线程需确保不会异常退出，避免客户端无法发起消费请求，阻塞消费。 确保处理完消息后再做消息commit，避免业务消息处理失败，无法重新拉取处理失败的消息。 通常不建议对每条消息都进行commit，如果对

查看更多 →

使用Kafka客户端SSL加密 前提说明 客户端使用SSL功能前，必须要保证服务端SSL对应服务功能已经开启（服务端参数“ssl.mode.enable”设置为“true”）。 SSL功能需要配合API进行使用，可参考Kafka安全使用说明章节。 使用说明 Linux客户端使用SSL功能

查看更多 →

Kafka客户端参数配置建议 Kafka客户端的配置参数很多，以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同，以下配置参数适用于1.1.0及以上版本。其他参数和版本配置，请参考Kafka配置。 表1 Producer参数 参数

查看更多 →

使用Kafka客户端SSL加密 前提说明 客户端使用SSL功能前，必须要保证服务端SSL对应服务功能已经开启（服务端参数“ssl.mode.enable”设置为“true”）。 SSL功能需要配合API进行使用，可参考Kafka安全使用说明章节。 使用说明 Linux客户端使用SSL功能

查看更多 →

使用客户端连接Kafka（开启SASL） 本章节介绍如何使用开源的Kafka客户端访问开启SASL的Kafka实例的方法。在“华北-北京一”、“中东-利雅得”、“拉美-圣保罗一”和“拉美-圣地亚哥”区域，开启SASL表示客户端访问Kafka实例时，需要进行SASL认证且数据加密传

查看更多 →

使用客户端连接Kafka（关闭SASL） 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时，无需进行认证，数据通过明文传输，性能更好。 2020年7月以及之后购买的实例，Kafka实例的每个代理允许客户端单I

查看更多 →

Kafka支持服务端认证客户端吗？ 不支持。 父主题： 连接问题

查看更多 →

更多 Kafka连接 Kafka是否支持kerberos认证？ Kafka连接问题排查和解决 客户端单IP连接的个数为多少？ 连接Kafka Manager的操作 更多 消息 为什么Console页面上，消息查询查不到消息？ Kafka生产消息的最大长度是多少？ Kafka消息堆积了怎么办？

查看更多 →

配置HiveMetaStore客户端连接负载均衡 操作场景 Hive的MetaStore客户端连接支持负载均衡，即可通过服务端在ZooKeeper记录的连接数，选择连接最少的节点进行连接，防止大业务场景下造成某个MetaStore高负载，其他MetaStore空闲情况，开启此功能不影响原有连接方式。

查看更多 →

配置外网客户端访问Kafka Broker 本章节适用于 MRS 3.2.0及之后版本。 操作场景 外网环境Kafka客户端访问部署在内网的Kafka Broker，需开启Kafka内外网分流访问。 前提条件 Broker所在节点同时具有内网IP和外网IP，Broker绑定在内网I

查看更多 →

如何配置Kafka客户端shell命令日志 用户问题 如何设置客户端shell命令的日志输出级别？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 切换到Kafka客户端配置目录。

查看更多 →

了解 DLI 请参见 数据湖 产品介绍。 了解Kafka请参见分布式消息服务Kafka产品介绍。 图1 Kafka实时入库DWS 本实践预计时长90分钟，实践用到的云服务包括虚拟私有云 VPC及子网、弹性负载均衡 ELB、弹性云服务器 E CS 、对象存储服务 OBS、分布式消息服务 Kafka、 数据湖探索 DLI和 数据仓库 服务

查看更多 →

了解DLI请参见数据湖产品介绍。 了解Kafka请参见分布式消息服务Kafka产品介绍。 图1 Kafka实时入库DWS 本实践预计时长90分钟，实践用到的云服务包括虚拟私有云 VPC及子网、弹性负载均衡 ELB、弹性云服务器 ECS、对象存储服务 OBS、分布式消息服务 Kafka、数据湖探索 DLI和数据仓库服务

查看更多 →

Kafka Kafka是一个分布式流处理平台，最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是

查看更多 →

Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据

查看更多 →

先购买Kafka实例。Kafka实例采用物理隔离的方式部署，租户独占Kafka实例。 支持区域： 全部 购买Kafka实例 连接Kafka 开源Kafka客户端向Kafka实例生产消息和消费消息前，需要先连接Kafka实例。 创建Kafka实例时，支持开启或者关闭SASL_SSL

查看更多 →