bootstrap.servers Broker地址列表 消费者通过此参数值，创建与Broker之间的连接。 security.protocol 安全协议类型 消费者使用的安全协议类型，当前安全模式下仅支持SASL协议，需要配置为SASL_PLAINTEXT。 sasl.kerberos

查看更多 →

bootstrap.servers Broker地址列表 消费者通过此参数值，创建与Broker之间的连接。 security.protocol 安全协议类型 消费者使用的安全协议类型，当前安全模式下仅支持SASL协议，需要配置为SASL_PLAINTEXT。 sasl.kerberos

查看更多 →

的数量，因为每个分区只能分配一个消费者。 Kafka数据同步至ClickHouse操作示例 参考Kafka客户端使用实践，切换到Kafka客户端安装目录。 以Kafka客户端安装用户，登录Kafka安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client

查看更多 →

Kafka集群运行，所使用的Kerberos用户名（需配置为kafka）。 key.serializer 消息Key值序列化类 指定消息Key值序列化方式。 value.serializer 消息序列化类 指定所发送消息的序列化方式。 表2 Producer重要接口函数 返回值类型 接口函数 描述 java.util

查看更多 →

Kafka集群运行，所使用的Kerberos用户名（需配置为kafka）。 key.serializer 消息Key值序列化类 指定消息Key值序列化方式。 value.serializer 消息序列化类 指定所发送消息的序列化方式。 表2 Producer重要接口函数 返回值类型 接口函数 描述 java.util

查看更多 →

Kafka业务使用流程 使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户，并授予DMS for Kafka的权限，以达到用户之间权限的隔离。 购买Kafka实例 Kafka实例采用物理隔离的方式部署，租户独占Kafka实例。

查看更多 →

登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称，进入实例详情页面。 在左侧导航栏单击“流控管理 >

查看更多 →

spring-kafka的使用 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取。

查看更多 →

配置Kafka实例标签 标签是Kafka实例的标识，为Kafka实例添加标签，可以方便用户识别和管理拥有的Kafka实例资源。 您可以在创建Kafka实例时添加标签，也可以在Kafka实例创建完成后，在“标签”页面添加标签，您最多可以给实例添加20个标签。另外，您还可以删除标签。

查看更多 →

修改Kafka Topic配置 本章节指导您在控制台修改Kafka Topic的如下配置。 表1 Kafka Topic的配置参数 参数名称 说明 分区数 Topic的分区数，修改方法请参见修改Kafka Topic分区数。 老化时间 消息的最长保留时间，修改方法请参见修改Kafka消息老化时间。

查看更多 →

Kafka常用配置参数 本章节内容适用于 MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect

查看更多 →

根据业务情况，准备好客户端，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env

查看更多 →

根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。

查看更多 →

Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 参数入口，请参考修改集群服务配置参数。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect.datapart

查看更多 →

的具体步骤，请参考查看监控数据。 在Kafka客户端，在“/{命令行工具所在目录}/kafka_{version}/bin/”目录下，通过kafka-consumer-groups.sh --bootstrap-server {kafka连接地址} --describe --group

查看更多 →

区数较多且每个消费者开启多个线程的情况下。 如图1所示，Topic含有多个分区，消费组中有多个消费者同时进行消费，每个线程均为长连接。当Topic中消息较少或者没有时，连接不断开，所有消费者不间断地拉取消息，这样造成了一定的资源浪费。 图1 Kafka消费者多线程消费模式 优化方案

查看更多 →

法识别。 Kafka地址 “配置类型”为“Kafka地址”时，需要设置。 输入Kafka实例的连接地址和端口号。 使用Kafka数据复制时，两个Kafka实例间只能通过内网连接。如果两个Kafka实例处于不同的VPC中，请先参考使用VPCEP实现跨VPC访问Kafka打通网络。 认证方式

查看更多 →

同步实例创建中，大约需要5-10分钟。 配置源库信息和目标库数据库密码。 配置源库信息。 单击“测试连接”。 当界面显示“测试成功”时表示连接成功。 选择目标库所在VPC和子网，填写Kafka的IP地址和端口。 单击“测试连接”。 当界面显示“测试成功”时表示连接成功。 单击“下一步”。 选

查看更多 →

topic的内容 如何配置Kafka客户端shell命令日志 如何获取Topic的分布信息 Kafka高可靠使用说明 使用Kafka Shell命令无法操作Kafka集群 Kafka生产者写入单条记录过长问题 Kakfa消费者读取单条记录过长问题 Kafka集群节点内多磁盘数据量占用高

查看更多 →

> 生产消息”，弹出“生产消息”对话框。 参考表1，设置消息的相关参数。 表1 消息参数 参数名称 说明 消息内容 输入消息的内容。 消息Key 输入消息的Key。 发送到指定分区 选择是否开启消息发送到指定的分区。 关闭：消息基于Key的hash值选择分区。 开启：消息将发送到

查看更多 →

Kafka应用开发建议 同一个组的消费者的数量建议与待消费的Topic下的Partition数保持一致 若同一个组的消费者数量多于Topic的Partition数时，会有多余的消费者一直无法消费该Topic的消息，若消费者数量少于Topic的Partition数时，并发消费得不到完全体现，因此建议两者相等。

查看更多 →