Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的，在写入数据后，用户开发一个应用，以消费者调用新接口（org.apache.kafka.clients.consumer.*）到Kafka上读取数据，但读取失败，报异常大致如下：

查看更多 →

消费组的数量根据产品规格确定，不支持修改。 当消费组的数量达到上限后，您无法继续创建消费组。 是否需要创建消费组、消费者、生产者 不需要单独创建消费组、生产者和消费者，在使用时自动生成，实例创建后，直接使用即可。 消费位点重置 支持重置消费2天内任意时间点的消息。 重置消费进度 重置消费进度可能会导致重复消费。

查看更多 →

开启RocketMQ ACL访问 通过ACL（Access Control List）可以实现对RocketMQ实例中生产者和消费者身份的精确识别，达到权限管理的目的。开启ACL权限控制功能后，生产消息和消费消息时，需要鉴权。 前提条件 已购买RocketMQ实例。 开启RocketMQ

查看更多 →

踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构 生产者（Producer）将消息发布到Kafka主题（Topic）上，消费者（Consumer）订阅这些主题并消费这些消息。在Kafka集群上一个 服务器 称为一个Broker。对于

查看更多 →

properties 配置文件中“group.id”指定的消费者组默认为“example-group1”。用户可根据业务需要，自定义其他消费者组。每次消费时生效。 执行命令时默认会读取当前消费者组中未被处理的消息。如果在配置文件指定了新的消费者组且命令中增加参数“--from-beginni

查看更多 →

CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch

查看更多 →

（例如当前偏移量已被删除）时，消费者的消费策略。取值如下： latest：偏移量自动被重置到最晚偏移量。 earliest：偏移量自动被重置到最早偏移量。 none：向消费者抛出异常。 如果将此配置设置为latest，新增分区时，生产者可能会在消费者重置初始偏移量之前开始向新增加的分区发送消息，从而导致部分消息丢失。

查看更多 →

内存高水位状态 告警阈值：原始值>=1 连续触发次数：1 告警级别：致命 告警阈值为1表示触发内存高水位，会阻塞消息生产 加快消费 采用生产者确认的发送模式，并监控生产端消息生产速度和时长，当消息生产时长有明显增加时进行流控措施 磁盘高水位状态 告警阈值：原始值>=1 连续触发次数：1

查看更多 →

程和人员等各种能力整合到一起的一种协同工作方式。 生产者 是用来构建并传输数据到服务端的逻辑概念，负责把数据放入消息队列。 订阅器 用于订阅安全云脑管道消息，一个管道可由多个订阅器进行订阅，安全云脑通过订阅器进行消息分发。 消费者 是用来接收并处理数据的运行实体，负责通过订阅器把安全云脑管道中的消息进行消费并处理。

查看更多 →

开启RabbitMQ ACL访问 通过ACL可以实现对RabbitMQ实例中生产者和消费者身份的精确识别，为不同用户赋予不同的Vhost和Vhost下不同资源的权限，以达到不同用户之间权限隔离的目的。开启ACL权限控制功能后，生产消息和消费消息时，需要鉴权。 仅RabbitMQ

查看更多 →

频繁打开和关闭连接或通道会发送和接收大量的TCP包，从而导致更高的延迟，确保不要频繁打开和关闭连接或通道。 生产者和消费者使用不同的连接 生产者和消费者使用不同的连接以实现高吞吐量。当生产者发送太多消息给服务端处理时，RabbitMQ会将压力传递到TCP连接上。如果在同一个TCP连接上消费

查看更多 →

--add --allow-principal User:<用户名> --consumer --topic <Topic名称> --group <消费者组名称> bin/kafka-acls.sh --bootstrap-server <Kafka集群IP:21007> --command-config

查看更多 →

--add --allow-principal User:<用户名> --consumer --topic <Topic名称> --group <消费者组名称> bin/kafka-acls.sh --bootstrap-server <Kafka集群IP:21007> --command-config

查看更多 →

properties 配置文件中“group.id”指定的消费者组默认为“example-group1”。用户可根据业务需要，自定义其他消费者组。每次消费时生效。 执行命令时默认会读取当前消费者组中未被处理的消息。如果在配置文件指定了新的消费者组且命令中增加参数“--from-beginni

查看更多 →

c。 消费组 表3 消费组约束与限制 限制项 约束与限制 是否需要创建消费组、消费者、生产者 “auto.create.groups.enable”为“true”时，不需要单独创建消费组、生产者和消费者，在使用时自动生成，实例创建后，直接使用即可。 “auto.create.groups

查看更多 →

--add --allow-principal User:<用户名> --consumer --topic <Topic名称> --group <消费者组名称> shkafka-acls.sh --bootstrap-server <Kafka集群IP:21007> --command-config

查看更多 →

--add --allow-principal User:<用户名> --consumer --topic <Topic名称> --group <消费者组名称> shkafka-acls.sh --bootstrap-server <Kafka集群IP:21007> --command-config

查看更多 →

--add --allow-principal User:用户名 --consumer --topic 主题名称 --group 消费者组名称 删除某个用户的消费者权限 sh kafka-acls.sh --authorizer-properties zookeeper.connect=

查看更多 →

配置RabbitMQ单一活跃消费者 单一活跃消费者（Single Active Consumer）表示队列中可以注册多个消费者，但是只允许一个消费者消费消息，只有在此消费者出现异常时，才会自动转移到另一个消费者进行消费。单一活跃消费者适用于需要保证消息消费顺序性，同时提供高可靠能力的场景。

查看更多 →

修改配置项“spark.event.listener.logRate”，该配置项的单位为毫秒。 启动应用，可以发现如下的日志信息（消费者速率、生产者速率、当前队列中的消息数量和队列中消息数量的最大值）。 INFO LiveListenerBus: [SparkListenerBus]:16044

查看更多 →

修改配置项“spark.event.listener.logRate”，该配置项的单位为毫秒。 启动应用，可以发现如下的日志信息（消费者速率、生产者速率、当前队列中的消息数量和队列中消息数量的最大值）。 INFO LiveListenerBus: [SparkListenerBus]:16044

查看更多 →