分区数较多且每个消费者开启多个线程的情况下。 如图1所示，Topic含有多个分区，消费组中有多个消费者同时进行消费，每个线程均为长连接。当Topic中消息较少或者没有消息时，连接不断开，所有消费者不间断地拉取消息，这样造成了一定的资源浪费。 图1 Kafka消费者多线程消费模式 解决方案

查看更多 →

最佳实践 说明 提高Kafka消息处理效率 本章节提供了生产者和消费者对于消息的使用建议，以提高消息发送和消息消费的效率与可靠性。 优化消费者轮询（Polling） 本章节介绍在对消费消息实时性要求不高的场景中，如何优化消费者Polling，减少消息较少或者没有消息时的资源浪费。

查看更多 →

Producer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 生产者通过此参数值，创建与Broker之间的连接。 security.protocol 安全协议类型。 生产者使用的安全协议类型，当前安全模式下仅支持SASL协议，需要配置为SASL_PLAINTEXT。

查看更多 →

购买Kafka实例 Kafka实例采用物理隔离的方式部署，租户独占Kafka实例。 创建Kafka Topic 创建用于存储消息的Topic，供生产者生产消息以及消费者订阅消息。 连接实例 客户端使用内网/公网连接Kafka实例，并生产消费消息。

查看更多 →

B，消费者A订阅了Tag A的消息，消费者B订阅了Tag B的消息。 如果消费者A和消费者B设置了相同的消费组，当生产者发送Tag A的消息时，Tag A的消息会均匀发送给消费者A和消费者B。由于消费者B没有订阅Tag A的消息，会把Tag A消息过滤掉，从而导致部分Tag A消息未被消费。 图1 错误的消费组设置

查看更多 →

Producer/生产者 向Kafka的主题发布消息。 Consumer/消费者 向Topic订阅，并且接收发布到这些Topic的消息。 各模块间关系如图2所示。 图2 Kafka模块间关系 消费者使用一个消费者组名称来标记自己，主题的每个消息被传递给每个订阅消费者组中的一个消费者。如果所

查看更多 →

配置API的访问控制 Topic Topic即消息主题，是消息队列的一种发布与订阅消息的模型，消息的生产、消费及管理围绕着消息主题进行。生产者向消息主题发布消息，多个消费者订阅该消息主题的消息，生产者与消费者彼此并无直接关系。 发布区域：华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、亚太-新加坡

查看更多 →

Kafka性能优化 Kafka性能优化 优化客户端配置 生产者配置建议 可参考配置建议。 消费者配置建议 参数 推荐值 说明 max.poll.records 500 消费者一次能消费到的最大消息数量，默认为500，如果每条消息处理时间较长，建议调小该值，确保在max.poll.interval

查看更多 →

Producer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 生产者通过此参数值，创建与Broker之间的连接。 security.protocol 安全协议类型。 生产者使用的安全协议类型，当前安全模式下仅支持SASL协议，需要配置为SASL_PLAINTEXT。

查看更多 →

Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的，在写入数据后，用户开发一个应用，以消费者调用新接口（org.apache.kafka.clients.consumer.*）到Kafka上读取数据，但读取失败，报异常大致如下：

查看更多 →

nkedIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理 服务器 。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是Kafka集群中的核心组件，负责处理消息的存储和转发。K

查看更多 →

程和人员等各种能力整合到一起的一种协同工作方式。 生产者 是用来构建并传输数据到服务端的逻辑概念，负责把数据放入消息队列。 订阅器 用于订阅安全云脑管道消息，一个管道可由多个订阅器进行订阅，安全云脑通过订阅器进行消息分发。 消费者 是用来接收并处理数据的运行实体，负责通过订阅器把安全云脑管道中的消息进行消费并处理。

查看更多 →

消费组的数量根据产品规格确定，不支持修改。 当消费组的数量达到上限后，您无法继续创建消费组。 是否需要创建消费组、消费者、生产者 不需要单独创建消费组、生产者和消费者，在使用时自动生成，实例创建后，直接使用即可。 消费位点重置 支持重置消费2天内任意时间点的消息。 重置消费进度 重置消费进度可能会导致重复消费。

查看更多 →

开启RocketMQ ACL访问 通过ACL（Access Control List）可以实现对RocketMQ实例中生产者和消费者身份的精确识别，达到权限管理的目的。开启ACL权限控制功能后，生产消息和消费消息时，需要鉴权。 前提条件 已购买RocketMQ实例。 开启RocketMQ

查看更多 →

Queue用于存储消息，每个消息都会被发送到一个或多个Queue中，生产者生产消息并最终投递到Queue中，消费者可以从Queue中拉取消息进行消费。 多个消费者可以订阅同一个Queue，此时Queue中的消息会被平均分摊给多个消费者进行处理，而不是每个消费者都收到所有的消息。 本章节指导如何在控制台创建Queue。

查看更多 →

properties 配置文件中“group.id”指定的消费者组默认为“example-group1”。用户可根据业务需要，自定义其他消费者组。每次消费时生效。 执行命令时默认会读取当前消费者组中未被处理的消息。如果在配置文件指定了新的消费者组且命令中增加参数“--from-beginni

查看更多 →

CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch

查看更多 →

（例如当前偏移量已被删除）时，消费者的消费策略。取值如下： latest：偏移量自动被重置到最晚偏移量。 earliest：偏移量自动被重置到最早偏移量。 none：向消费者抛出异常。 如果将此配置设置为latest，新增分区时，生产者可能会在消费者重置初始偏移量之前开始向新增加的分区发送消息，从而导致部分消息丢失。

查看更多 →

配置RabbitMQ单一活跃消费者 单一活跃消费者（Single Active Consumer）表示队列中可以注册多个消费者，但是只允许一个消费者消费消息，只有在此消费者出现异常时，才会自动转移到另一个消费者进行消费。单一活跃消费者适用于需要保证消息消费顺序性，同时提供高可靠能力的场景。

查看更多 →

踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构 生产者（Producer）将消息发布到Kafka主题（Topic）上，消费者（Consumer）订阅这些主题并消费这些消息。在Kafka集群上一个服务器称为一个Broker。对于

查看更多 →

配置RabbitMQ惰性队列 默认情况下，RabbitMQ生产者生产的消息存储在内存中，当需要释放内存时，会将内存中的消息换页至磁盘中。换页操作会消耗较长的时间，且换页过程中队列无法处理消息。 如果生产速度过快（例如执行批处理任务），或者消费者由于各种原因（例如消费者下线、宕机）长时间内无法消费消息，导

查看更多 →