附录：spring-kafka对接限制 概述 spring-kafka兼容开源Kafka客户端，其与开源Kafka客户端的版本对应关系可参见Spring官网。spring-kafka兼容的Kafka客户端版本主要为2.x.x版本，而ROMA Connect消息集成的Kafka服务端版本为1

查看更多 →

创建Kafka目标连接 登录事件网格控制台。 在左侧导航栏选择“网络管理>目标连接”，进入“目标连接”页面。 单击“创建目标连接”，弹出“创建目标连接”对话框。 首次创建目标连接时，系统会自动弹出创建委托授权界面，需要您创建授权委托，详情请查看授权委托。 配置如下目标连接参数。更

查看更多 →

连接Kafka网络要求 客户端可以通过公网连接Kafka实例，也可以通过内网连接Kafka实例。使用内网连接时，注意以下几点： 如果客户端和Kafka实例部署在同一个VPC内，网络默认互通。 如果客户端和Kafka实例部署在不同VPC中，由于VPC之间逻辑隔离，客户端和Kafka

查看更多 →

Producer/生产者 向Kafka的主题发布消息。 Consumer/消费者 向Topic订阅，并且接收发布到这些Topic的消息。 各模块间关系如图2所示。 图2 Kafka模块间关系 消费者使用一个消费者组名称来标记自己，主题的每个消息被传递给每个订阅消费者组中的一个消费者。如果所有的消

查看更多 →

通过以下任意一种方法，重置初始用户的密码。 在需要重置密码的Kafka实例右侧，单击“更多 > 重置Kafka密码”，弹出“重置Kafka密码”对话框。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 重置Kafka密码”，弹出“重置Kafka密码”对话框。 单击Kafka实例名称，进入实例详情页面。在“基本信息”页面，在“连接信息

查看更多 →

同时消费原Kafka与ROMA Connect，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。 此方案适用于对端到端时延有要求，却对消息顺序不敏感的业务。 迁移流程 启动新的消费客户端，配置Kafka连接地址为ROMA Connect实例的消息集成MQS连接地址，消费ROMA

查看更多 →

根据业务情况，准备好客户端，参考使用 MRS 客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env

查看更多 →

快速连接Kafka并生产消费消息 本章节将为您介绍分布式消息服务Kafka版入门的使用流程，以在“华东-上海二”区域创建一个开启密文接入、安全协议为SASL_SSL的Kafka 2.7实例，客户端使用内网通过同一个VPC连接Kafka实例生产消费消息为例，帮助您快速上手Kafka。

查看更多 →

配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：

查看更多 →

配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：

查看更多 →

Kafka相关概念 华为云使用Kafka作为消息引擎，以下概念基于Kafka进行描述。 Topic 消息主题。消息的生产与消费，围绕消息主题进行生产、消费以及其他消息管理操作。 Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息，多个消费者订阅该消息主题的消息，生产者与消费者彼此并无直接关系。

查看更多 →

查看RocketMQ消费者连接地址 操作场景 分布式消息服务RocketMQ版支持通过控制台查看消费者连接地址。 消费者处于连接RocketMQ实例时，才可以查看消费者连接地址。 操作步骤 登录管理控制台。 在管理控制台左上角单击，选择区域。 请选择RocketMQ实例所在的区域。

查看更多 →

Flume正常连接Kafka后发送消息失败 问题现象 使用MRS版本安装集群，主要安装ZooKeeper、Flume、Kafka。 在使用Flume向Kafka发送数据功能时，发现Flume发送数据到Kafka失败。 可能原因 Kafka服务异常。 Flume连接Kafka地址错误，导致发送失败。

查看更多 →

建议在Kafka客户端侧配置日志转储，否则容易引起磁盘被日志打满的情况。 一个消费组下的消费者在连接同一个MQS时，最多允许该消费组下的500个消费者进行连接，超过数量的消费者将连接失败。如果一个消费组下有超过500个消费者，且需要连接同一个MQS，需要把消费者拆分到多个消费组下。 若ROMA Conn

查看更多 →

Kafka 样例工程配置文件说明 Conf目录个各配置文件及重要参数配置说明 Producer API配置项 表1 producer.properties文件配置项 参数 描述 备注 security.protocol 安全协议类型 生产者使用的安全协议类型，当前Kerberos

查看更多 →

管理Kafka Topic中的消息 操作场景 用户可以根据业务需要，使用MRS集群客户端，在Kafka主题中产生消息，或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群，需要提前在Manager中创建业务用户，用户拥有在Kafka主题中执行相应操作的权限。

查看更多 →

Spark连接Kafka认证错误 问题现象 MRS 2.1.0版本集群中Spark消费kafka数据，过一天以后就会出现认证失败的报错： 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS

查看更多 →

Kafka实例是否需要创建消费组、生产者和消费者？ 不需要单独创建消费组、生产者和消费者，在使用时自动生成，实例创建后，直接使用即可。 连接Kafka实例后，生产消息和消费消息，请参考向Kafka实例生产消息和消费消息。 父主题： 消费组问题

查看更多 →

作示例 参考Kafka客户端使用实践，切换到Kafka客户端安装目录。 以Kafka客户端安装用户，登录Kafka安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群

查看更多 →

配置RabbitMQ单一活跃消费者 使用场景 单一活跃消费者（Single Active Consumer）表示队列中可以注册多个消费者，但是只允许一个消费者消费消息，只有在此消费者出现异常时，才会自动转移到另一个消费者进行消费。单一活跃消费者适用于需要保证消息消费顺序性，同时提供高可靠能力的场景。

查看更多 →

bootstrap.servers Broker地址列表 消费者通过此参数值，创建与Broker之间的连接。 security.protocol 安全协议类型 消费者使用的安全协议类型，当前安全模式下仅支持SASL协议，需要配置为SASL_PLAINTEXT。 sasl.kerberos

查看更多 →