单击待删除的消费组名称，进入消费组详情页面。在页面右上角，单击“删除”。 如需批量删除消费组，勾选待删除的消费组，单击“删除消费组”。 单击“确定”，确认删除消费组。 父主题： 管理消费组

查看更多 →

修改Kafka消息老化时间 老化时间即消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。已删除的消息，无法被消费。 Topic老化时间默认为72小时，创建Topic成功之后，您可以根据业务需要修改Topic的老化时间。修改老化时间，不会影响业务。 修改老化时间可以通过以下方式实现：

查看更多 →

跨AZ容灾 Kafka、RabbitMQ、RocketMQ实例支持跨AZ容灾部署，要求至少3个AZ，当一个AZ异常时，不影响实例持续提供服务。 监控告警 Kafka：配合CES服务，支持对Kafka实例、实例节点、实例主题、实例分区、实例分区的消费组、实例队列的消费组、实例的消费组等进行监控和告警。详见“支持的监控指标”。

查看更多 →

Kafka同步Kafka 当前仅支持华南-广州。 前提条件 业务有自己的源Kafka和目标Kafka。 源Kafka和目标Kafka实例支持的版本：目前支持2.7及以上，后续支持版本会持续更新。 源Kafka和目标Kafka实例的规格、存储空间需保持一致。 确保vpc、子网、kafka等资源充足。

查看更多 →

验证RocketMQ消息消费 消费验证是将消息重新发送到指定的在线客户端，验证消费者能否收到消息。消费验证会导致消息重复消费。 前提条件 仅在实例的“状态”为“运行中”时，才可以进行消费验证。 确保待进行消费验证的客户端处于在线状态，且消费者已订阅待重新发送的消息所属的Topic。

查看更多 →

查询指定消费组的消费成员 功能介绍 查询指定消费组的消费成员。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id}/groups/{group}/members 表1 路径参数 参数

查看更多 →

较多且每个消费者开启多个线程的情况下。 如图1所示，Topic含有多个分区，消费组中有多个消费者同时进行消费，每个线程均为长连接。当Topic中消息较少或者没有消息时，连接不断开，所有消费者不间断地拉取消息，这样造成了一定的资源浪费。 图1 Kafka消费者多线程消费模式 解决方案

查看更多 →

查看消费组列表 在“消费组管理”页面，查看消费组列表。 查看消费组详情页 在“消费组管理”页面，单击消费组名称，进入消费组详情页，查看消费者列表和消费进度。 查看消费组队列详情页 在“消费组管理”页面，单击消费组名称，进入消费组详情页。在“消费进度”页签中，查看消费组消费的所有

查看更多 →

Flume海量日志聚合 7% Loader 数据转换 5% Kafka分布式消息订阅系统 9% LDAP+Kerberos 安全认证 5% ElasticSearch分布式全文检索服务 5% Redis内存数据库 5% 华为大数据服务解决方案 4% 推荐在线学习 HCIA-Big Data

查看更多 →

group_msgs 堆积消息数 该指标用于统计Kafka实例中所有消费组中总堆积消息数。 topic_messages_remained 队列可消费消息数 该指标用于统计消费组指定队列可以消费的消息个数。 broker_messages_in_rate 每秒消息生产速率 统计Kafka节点每秒生产速率。

查看更多 →

查询消费组信息 查询所有消费组 Kafka实例批量删除消费组 创建消费组 重置消费组消费进度到指定位置 查询消费组消息位点 修改所有消费组 查询指定消费组 删除指定消费组 修改指定消费组 查询指定消费组的topic 查询指定消费组的消费成员 用户管理 包括： 查询用户列表 创建用户 批量删除用户

查看更多 →

、日志收集等大量数据的互联网服务的数据收集场景。 生产者（Producer）将消息发布到Kafka主题（Topic）上，消费者（Consumer）订阅这些主题并消费这些消息。在Kafka集群上一个服务器称为一个Broker。对于每一个主题，Kafka集群保留一个用于缩放、并行化和

查看更多 →

本方案中，先将生产消息的业务迁移到ROMA Connect，原Kafka不会有新的消息生产。待原Kafka的消息全部消费完成后，再将消费消息业务迁移到ROMA Connect，开始消费新的消息。 该案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序

查看更多 →

Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至HDFS 基于Kafka的Word Count数据流统计案例 数据迁移类 使用 CDM 服务迁移Hadoop数据至 MRS 集群 使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群

查看更多 →

FlinkSQL Kafka Connector支持消费drs-json格式数据 本章节适用于MRS 3.3.0及以后版本。 使用场景 FlinkSQL需要消费Kafka中drs-json格式（一种CDC消息格式）的数据。 使用方法 在创建的Kafka Connector Source流表中，设置

查看更多 →

开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许

查看更多 →

监控详情”页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“主题”选择“全部Topic”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看Kafka监控数据。 在云监控页面的“消费组”页签中，“消费组”选择待查看

查看更多 →

enable”为“false”时，需要手动创建消费组，不需要单独创建生产者和消费者。 重置消费进度 重置消费进度可能会导致重复消费。 消费组名称 消费组名称开头包含特殊字符，例如#号“#”，会导致监控数据无法展示。 代理故障场景 实例中部分代理故障时，无法创建、修改和删除消费组，以及重置消费进度，只能查询消费组。 消息

查看更多 →

管理Kafka Topic中的消息 操作场景 用户可以根据业务需要，使用MRS集群客户端，在Kafka主题中产生消息，或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群，需要提前在Manager中创建业务用户，用户拥有在Kafka主题中执行相应操作的权限。

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

分区剩余可消费数，消费组剩余可消费的消息个数 kafka_groups_partitions（kafka消费组维度） messages_consumed 分区已消费消息数，当前消费组已经消费的消息个数 messages_remained 分区剩余可消费消息数，当前消费组剩余可消费的消息个数

查看更多 →