分布式消息（Kafka） 分布式消息（Kafka）连接器包含“Topic列表”、“发送数据”、“指定分区发送”三个执行动作和“消费消息”一个触发事件。 连接参数 创建分布式（Kafka）连接时连接参数说明如表1所示。如果需要连接的Kafka配置了IP地址白名单限制，则需要放通 集成工作台 公网出口访问地址“124

查看更多 →

Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS 应用开发开源jar包冲突列表说明

查看更多 →

MRS Kafka数据连接参数说明 表1 MRS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 MRS Kafka连接固定选择为MapReduce服务（MRS Kafka）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。

查看更多 →

DMS Kafka数据连接参数说明 表1 DMS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 DMS Kafka连接固定选择为DMS Kafka。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。

查看更多 →

什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款

查看更多 →

> 滚动重启实例”，重启ClickHouseServer实例。 参考Kafka客户端使用实践，登录到Kafka客户端安装目录。 以Kafka客户端安装用户，登录Kafka安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。

查看更多 →

> 滚动重启实例”，重启ClickHouseServer实例。 参考Kafka客户端使用实践，登录到Kafka客户端安装目录。 以Kafka客户端安装用户，登录Kafka安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。

查看更多 →

分布式消息服务Kafka版接入LTS 支持分布式消息服务Kafka日志接入LTS。重平衡日志记录Rebalance的详情，包括Rebalance时间、原因和触发Rebalance的客户端等。重平衡日志存储在云日志服务（Log Tank Service，简称LTS）中，由LTS提供查询功能。

查看更多 →

在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例的名称，进入实例详情页面。 在左侧导航栏单击“流控管理 > 流控监控”，进入流控监控页面。 设置查询带宽使用量的参数。

查看更多 →

量，因为每个分区只能分配一个消费者。 Kafka数据同步至ClickHouse操作示例 参考Kafka客户端使用实践，切换到Kafka客户端安装目录。 以Kafka客户端安装用户，登录Kafka安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client

查看更多 →

Kafka连接ZooKeeper客户端时发生断链 问题现象 Kafka客户端连接ZooKeeper客户端时发生断链。 客户端日志出现报错“ Received event :disconnected::none: with disconnected Writer Zookeeper”。

查看更多 →

'group1', kafka_format = ' CS V', kafka_row_delimiter = '\n', kafka_handle_error_mode='stream'; 相关参数说明如下表： 参数 参数说明 kafka_broker_list Kafka集群Broke

查看更多 →

量，因为每个分区只能分配一个消费者。 Kafka数据同步至ClickHouse操作示例 参考Kafka客户端使用实践，切换到Kafka客户端安装目录。 以Kafka客户端安装用户，登录Kafka安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client

查看更多 →

在管理控制台左上角单击，选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例的名称，进入实例详情页面。

查看更多 →

域和互信”，查看“本端域”参数，即为当前系统 域名 。 SSL加密配置 服务端配置。 配置“ssl.mode.enable”为“true”，如图2所示： 图2 服务端配置 客户端配置。 登录 FusionInsight Manager系统，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 更多

查看更多 →

Eagle新版本中改名为EFAK。 方案架构 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营

查看更多 →

附录：spring-kafka对接限制 概述 spring-kafka兼容开源Kafka客户端，其与开源Kafka客户端的版本对应关系可参见Spring官网。spring-kafka兼容的Kafka客户端版本主要为2.x.x版本，而ROMA Connect消息集成的Kafka服务端版本为1

查看更多 →

业务写入失败。 参数配置项为服务级配置需要重启Kafka，建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 参考修改集群服务配置参数进入Kafka服务全部配置页面，在服务端配置如表1中参数。 表1 服务端高可用性和高性能参数说明 参数 默认值 说明 unclean

查看更多 →

enable”为“true”，如图2所示： 图2 服务端配置 客户端配置。 登录FusionInsight Manager系统，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 更多 > 下载客户端” ，下载客户端压缩文件到本地机器。如图3所示： 图3 客户端配置 使用客户端根目录中的“ca.c

查看更多 →

实例ID 表2 Query参数 参数 是否必选 参数类型 描述 action_id 是 String 动作ID，生产消息对应的action_id为send。 请求参数 表3 请求Body参数 参数 是否必选 参数类型 描述 topic 是 String Kafka的topic body

查看更多 →

在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例名称，进入实例详情页面。 在左侧导航栏选择“消息查询”，进入消息列表页面。 Kafka实例支持两种查询消息的方法：按

查看更多 →