MRS 3.x及后续版本，登录 FusionInsight Manager，然后选择“集群 > 待操作的集群名称 > 服务 > Kafka”。 单击“实例”，查看Kafka Broker角色实例的IP地址。 记录Kafka角色实例其中任意一个的IP地址即可。 根据业务情况，准备好客户端，登录安装客户端的节点。

查看更多 →

执行命令时默认会读取当前消费者组中未被处理的消息。如果在配置文件指定了新的消费者组且命令中增加参数“--from-beginning”，则会读取所有Kafka中未被自动删除的消息。 Kafka角色实例所在节点IP地址，填写Broker角色实例其中任意一个的IP地址即可。 如果集群启用Ker

查看更多 →

Once的数据处理模式。 安全机制 提供基于Kerberos的认证以及可插拔的授权机制，提供支持SSL的Storm UI以及Log Viewer界面，同时支持与大数据平台其他组件（如ZooKeeper，HDFS等）进行安全集成。 灵活的拓扑定义及部署 使用Flux框架定义及部署业务

查看更多 →

查看Kafka重平衡日志 Rebalance是重新分配消息组中的消费者和Topic分区之间订阅关系的过程。在Rebalance过程中消费组下的所有消费者都会停止消费，等待Rebalance完成。 可能会触发Rebalance的原因： 消费组成员个数发生变化，例如有新的消费者加入，或者有消费者退出。

查看更多 →

填写经过base64编码的证书内容。 SSL证书密码 仅当“认证方式”选择“SSL认证”时需要配置。 填写SSL证书密码。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的动作 写入消息 配置参数 表1 发送消息 参数 说明 主题 填写需要监听的topic。 Partition

查看更多 →

在数据分析的实际应用场景中，冷热数据经常有不同的查询频次及响应速度要求。例如，在行为分析场景中，需支持近期流量数据的高频查询和高时效性，历史数据的访问频次很低，但需长时间备份以保证后续的审计和回溯工作，且查询需求也会随着时间推移锐减，如果将所有数据存储在本地，将造成大量的资源浪费。

查看更多 →

业务使用介绍 功能简介 消息集成MQS是ROMA Connect的消息集成组件，使用统一的消息接入机制，提供跨网络访问的安全、标准化消息通道。使用ROMA Connect进行消息集成，有如下优势： 支持原生Kafka特性 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 支持安全的消息传输

查看更多 →

采用Scala和Java编写，支持多种语言的客户端。 支持多种语言的客户端。 流量控制 RocketMQ 5.x支持基于实例规格的流量控制。 支持client、user和Topic级别，通过主动设置可将流控作用于生产者或消费者。 RabbitMQ的流控基于Credit-Based算法，是内部被动触发的保护机制，作用于生产者层面。

查看更多 →

仅当“认证方式”选择“SSL认证”时需要配置。 填写经过base64编码的证书内容。 SSL证书密码 仅当“认证方式”选择“SSL认证”时需要配置。 填写SSL证书密码。 描述 填写连接器的描述信息，用于识别不同的连接器。 支持的动作 消费消息 配置参数 参数 说明 主题 需要监听的topic。 GroupId 用来

查看更多 →

力，并提供应用中心、消息中心和组织中心三大能力； 数据中心：基于数据标准规范，提供教育数据从采集、存储、加工、分析、共享及可视化的全过程能力。为用户提供实现跨数据空间互联，实现教育数据的跨级共享。通过可视化的呈现方式为管理平台提供基础数据、应用使用情况等数据的汇总概览； 物联中心

查看更多 →

spring-kafka的使用 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取。

查看更多 →

Kafka Kafka基本原理 Kafka与其他组件的关系 Kafka开源增强特性 父主题： 组件介绍

查看更多 →

SmartConnect迁移KAFKA实施步骤 图1 迁移流程 待迁移自建Kafka集群的信息，如集群流量情况、磁盘容量和类型、分区数量等信息 实施迁移：创建Smart Connect任务 查看迁移进度：查看自建Kafka集群迁移到云消息队列 Kafka 版的进度。 数据校验 消息队列的特点是，数

查看更多 →

CDM 在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索 （ DLI ） 支持分区表的分区信息分片。 不支持非分区表分片。

查看更多 →

DMS分布式消息服务 DMS分布式消息服务支持以下各种消息类型： Kafka版：基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 RabbitMq版：完全兼容开源RabbitMQ，提供即开即用、消息特性丰富、灵活路由、高可用、

查看更多 →

您可以在“费用中心 > 账单管理”查看与Kafka实例相关的流水和明细账单，以便了解您的消费情况。如需了解具体操作步骤，请参见费用账单。 欠费 在使用云服务时，账户的可用额度小于待结算的账单，即被判定为账户欠费。欠费后，可能会影响云服务资源的正常运行，需要及时充值。详细介绍请参见欠费说明。 停止计费

查看更多 →

false：关闭指定的接入方式。 user_name 否 String 首次开启SASL时，需要输入用户名。实例创建后，关闭SASL并不会删除已经创建的用户，再次开启SASL时无需传入用户名，传入的用户名将无效。 pass_word 否 String 首次开启SASL时，需要输入用户名的密码。

查看更多 →

是否支持Kerberos认证 不支持 客户端单IP连接数 2020年7月以及之后购买的实例，Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个，在此之前购买的实例，Kafka实例的每个代理允许客户端单IP连接的个数默认为200个，如果超过了，会出现连接失败问题。 Topic 表2

查看更多 →

配置Kafka的SSL双向认证 SSL双向认证是指在通信认证时，将同时验证客户端和服务端的证书，以确保通信中涉及的双方都是受信任的。 开启SSL双向认证，主要用于对安全性要求较高的场景。 SSL双向认证为白名单特性，需要联系后台管理人员开通后方可使用。 配置SSL双向认证的流程如图1所示。

查看更多 →

Eagle新版本中改名为EFAK。 方案架构 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营

查看更多 →

常需要等待数据而拖慢任务的执行。因此，计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题，提出MemArts分布式客户端缓存，MemArts部署在计算侧的VM中，通过智能预取OBS上的数据来加速计算任务的执行。 图1 MemArtsCC结构图 表1

查看更多 →