Kafka数据消费概述 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控

查看更多 →

创建Kafka消费组 消费者是从Topic订阅消息的一方，消费组是由一个或多个消费者组成的。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 图1 消费关系示例图 “auto.create.groups.enable”表示在消费者进入未创建的消费组时，会自动创建此消费组。

查看更多 →

分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称，进入实例详情页面。 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 通过以下任意一种方法，删除消费组。 勾选消费组名称左侧的方框，可选一个或多个，单击信息栏左上侧的“删除消费组”。 在待删除消费组所在行，单击“删除”。

查看更多 →

修改Kafka消费组信息 消费组创建成功后，您可以根据业务需要修改消费组的描述信息。 修改Kafka消费组信息 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。

查看更多 →

STABLE：消费组内成员可以正常消费。 图1 消费组列表 （可选）如果需要搜索某个消费组，在搜索框中，输入消费组名称、消费组状态、Coordinator (ID)、堆积数、描述或者关键字，按“Enter”。 （可选）如果需要刷新消费组列表，在右上角单击。 查看消费组列表（Kafka客户端）

查看更多 →

单击Kafka实例的名称，进入实例详情页面。 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 单击待查看消费者连接地址的消费组名称，进入消费组详情页。 在“消费者列表”页签，查看消费者连接地址。 图1 消费者列表 查看消费者连接地址（Kafka Manager） 登录Kafka

查看更多 →

查看和重置Kafka消费进度 消费进度表示消费者的消费位置，本章节介绍如何查看和重置消费进度，重置消费进度即修改消费者的消费位置。 重置消费进度可能会导致重复消费，请谨慎操作。 前提条件 Kafka实例不支持在线重置消费进度，请先将待重置消费进度的消费组停止消费，然后重置消费进度。

查看更多 →

查看Kafka生产消费示例代码 分布式消息服务Kafka版支持在控制台查看Java、Go和Python语言的生产消费消息示例代码，您可以参考示例代码快速完成Kafka客户端的集成，并进行消息的生产和消费。 查看Kafka生产消费示例代码 登录管理控制台。 在管理控制台左上角单击，选择区域。

查看更多 →

ClickHouse消费Kafka数据异常 问题现象 用户在ClickHouse集群创建Kafka引擎表test.user_log_kafka消费Kafka数据，查看Kafka监控发现凌晨开始出现消息堆积，数据一直没有被消费。 原因分析 Kafka出现消息堆积，说明ClickHo

查看更多 →

Kafka Consumer消费数据丢失 问题背景与现象 用户将消费完的数据存入数据库，发现数据与生产数据不一致，怀疑Kafka消费丢数据。 可能原因 业务代码原因 Kafka生产数据写入异常 Kafka消费数据异常 解决办法 Kafka排查： 通过consumer-groups

查看更多 →

理。 查看生产消费详情 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录 FusionInsight Manager，选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作，例如创建Topic，需同时授予用户相关权限，请参考Kafka用户权限说明。

查看更多 →

快速连接Kafka并生产消费消息 本章节将为您介绍分布式消息服务Kafka版入门的使用流程，以创建一个开启密文接入、安全协议为SASL_SSL的Kafka实例，客户端使用内网通过同一个VPC连接Kafka实例生产消费消息为例，帮助您快速上手Kafka。 图1 Kafka使用流程 准备工作

查看更多 →

快速使用Kafka生产消费数据 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。可参考Kafka用户权限说明设置用户权限，然后参考使用Kafka客户端生产消费数据（ MRS 3.x之前版本）进行操作。 MRS 3.1.2及之后版本集群也可以通过登录Kafk

查看更多 →

2及之后版本。 查看生产消费详情 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager，选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作，例如创建Topic，需同时授予用户相关权限，请参考Kafka用户权限说明。

查看更多 →

快速使用Kafka生产消费数据 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。可参考Kafka用户权限说明设置用户权限，然后参考使用Kafka客户端生产消费数据进行操作。 也可以通过登录KafkaUI查看当前集群的消费信息。详细操作请参考使用KafkaUI查看消费信息。

查看更多 →

Kafka实例批量删除消费组 功能介绍 该接口用于向Kafka实例批量删除消费组。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/groups/batch-delete 表1 路径参数 参数 是否必选

查看更多 →

Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章

查看更多 →

导出Kafka消费组列表 消费组创建成功后，可导出Kafka实例中消费组的列表信息 导出Kafka消费组列表 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。

查看更多 →

使用SpringBoot生产消费Kafka集群数据 本章节适用于MRS 3.3.0及之后版本。 功能简介 通过SpringBoot实现对Kafka集群生产消费的功能。 代码样例 通过SpringBoot实现Kafka生产消费的样例代码如下： @RestController public

查看更多 →

向Kafka生产并消费数据程序 Flink向Kafka生产并消费数据应用开发思路 Flink向Kafka生产并消费数据Java样例代码 Flink向Kafka生产并消费数据Scala样例代码 父主题： 开发Flink应用

查看更多 →

，并获取结果。 向Kafka生产并消费数据程序 Flink向Kafka生产并消费数据的Java/Scala示例程序。在本工程中，假定某个Flink业务每秒就会收到1个消息记录，启动Producer应用向Kafka发送数据，然后启动Consumer应用从Kafka接收数据，对数据内容进行处理后并打印输出。

查看更多 →