重复发送消息。如果接收到发送成功的信号，则表明该消息已经被分布式消息服务Kafka版可靠存储。 消息消费 消息消费时，消费者需要确认消息是否已被成功消费。 生产的消息被依次存储在分布式消息服务Kafka版的存储介质中。消费时依次获取分布式消息服务Kafka版中存储的消息。消费者获

查看更多 →

配置RabbitMQ单一活跃消费者 单一活跃消费者（Single Active Consumer）表示队列中可以注册多个消费者，但是只允许一个消费者消费消息，只有在此消费者出现异常时，才会自动转移到另一个消费者进行消费。单一活跃消费者适用于需要保证消息消费顺序性，同时提供高可靠能力的场景。

查看更多 →

Kafka常用配置参数 本章节内容适用于 MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect

查看更多 →

Apache Kafka同步到MRS Kafka 源端优化 Kafka抽取优化 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch

查看更多 →

创建IAM用户，并授予DMS for Kafka的权限，以达到用户之间权限的隔离。 购买Kafka实例 Kafka实例采用物理隔离的方式部署，租户独占Kafka实例。 创建Kafka Topic 创建用于存储消息的Topic，供生产者生产消息以及消费者订阅消息。 连接实例 客户端使用内网/公网连接Kafka实例，并生产消费消息。

查看更多 →

在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例的名称，进入实例详情页面。

查看更多 →

额外编译配置，增加了编译依赖，提高编译复杂度。 Kafka-go kafka-go是一个简单、轻量级的Kafka客户端库，易于学习和使用。 kafka-go的代码库相对较小，依赖较少，可以减少应用程序的体积和依赖关系。 Kafka-go相对于Confluent-Kafka-go来

查看更多 →

的数量，因为每个分区只能分配一个消费者。 Kafka数据同步至ClickHouse操作示例 参考Kafka客户端使用实践，切换到Kafka客户端安装目录。 以Kafka客户端安装用户，登录Kafka安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client

查看更多 →

实例开启了自动创建Topic功能，且有消费者正在连接该Topic。如果没有停止业务，删除Topic后，还会有消息生产行为，并自动创建Topic。 问题解决措施 关闭Kafka自动创建Topic功能，才可以正常删除Topic。关闭方法请参考配置Kafka自动创建Topic。

查看更多 →

产生告警的集群内服务名称。 消费者组 产生告警的Kafka消费者组名称。 附加信息 topic名称 产生告警的Kafka Topic名称。 消息积压量 产生告警的Kafka Topic消息积压量。 对系统的影响 Kafka Topic中消息保留时间有限（默认7天），若不及时消费Topic中积压的消息，则会导致数据丢失。

查看更多 →

Kafka采集器（app-discovery-kafka） 通过连接到Kafka节点，获取Kafka节点IP、版本、消费者信息等。参数配置说明参见表1。 表1 Kafka采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果（app-discovery-kafka-xxx

查看更多 →

Kafka集群运行，所使用的Kerberos用户名（需配置为kafka）。 key.serializer 消息Key值序列化类。 指定消息Key值序列化方式。 value.serializer 消息序列化类。 指定所发送消息的序列化方式。 表2 Producer重要接口函数 返回值类型 接口函数 描述 java

查看更多 →

分区数较多且每个消费者开启多个线程的情况下。 如图1所示，Topic含有多个分区，消费组中有多个消费者同时进行消费，每个线程均为长连接。当Topic中消息较少或者没有消息时，连接不断开，所有消费者不间断地拉取消息，这样造成了一定的资源浪费。 图1 Kafka消费者多线程消费模式 解决方案

查看更多 →

Spark连接Kafka认证错误 问题现象 MRS 2.1.0版本集群中Spark消费kafka数据，过一天以后就会出现认证失败的报错： 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS

查看更多 →

Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务全部配置页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect

查看更多 →

配置Kafka源端参数 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topic 主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式： JSON：以JSON格式解析源数据。 CS V格式：以CSV格式解析源数据。 JSON格式

查看更多 →

Kafka客户端参数配置建议 Kafka客户端的配置参数很多，以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同，以下配置参数适用于1.1.0及以上版本。其他参数和版本配置，请参考Kafka配置。 表1 Producer参数 参数

查看更多 →

约束与限制 Kafka ZooKeeper Kafka集群依赖ZooKeeper进行管理，开放ZooKeeper可能引发误操作导致业务受损，当前仅Kafka内部使用，不对外提供服务。 版本 当前服务端版本为1.1.0、2.7、3.x。实例创建后，服务端版本不支持升级。 兼容0.10以上

查看更多 →

Kafka性能优化 Kafka性能优化 优化客户端配置 生产者配置建议 可参考配置建议。 消费者配置建议 参数 推荐值 说明 max.poll.records 500 消费者一次能消费到的最大消息数量，默认为500，如果每条消息处理时间较长，建议调小该值，确保在max.poll.interval

查看更多 →

DMS Kafka同步到OBS 源端优化 Kafka抽取优化 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max

查看更多 →

在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例名称，进入实例详情页面。

查看更多 →