apache.kafka.clients.producer.KafkaProducer中定义的接口，acks配置为acks。 旧Producer API 指kafka.producer.Producer中定义的接口，acks配置名称为request.required.acks。 参数配

查看更多 →

配置Kafka高可用和高可靠 操作场景 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于 MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响： 配置高

查看更多 →

的副本数，那么将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka，建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 在服务端配置如表1中参数，参数配置入口请参考修改集群服务配置参数。 表1 服务端高可用性和高性能参数说明 参数 默认值 说明

查看更多 →

最大长度：128 type 否 String 目标连接类型。目前支持webhook：http连接；kafka：华为云官方kafka实例 枚举值： WEBHOOK KAFKA kafka_detail 否 KafkaConnectionDetail object 表4 KafkaConnectionDetail

查看更多 →

据所在局点进行配置。 支持 Kafka 协议版本为：1.0.X，2.X.X，3.X.X。 支持压缩方式：gzip，snappy，lz4。 KAFKA认证方式为 SASL_PLAINTEXT 认证。 KAFKA协议的ACKS参数必须设置为0。 配置方式 使用Kafka协议上报日志时，需要使用到的通用参数如下。

查看更多 →

修改Kafka Topic配置 本章节指导您在控制台修改如表1所示Kafka Topic的配置。 修改同步复制、同步落盘、消息时间戳类型、批处理消息最大值和描述，不会重启实例。 表1 Kafka Topic的配置参数 参数名称 说明 分区数 Topic的分区数，修改方法请参见修改Kafka

查看更多 →

--throughput 102400 bootstrap.servers：购买Kafka实例中获取的Kafka实例的地址。 acks：消息主从同步策略，acks=1表示异步复制消息，acks=-1表示同步复制消息。 batch.size：每次批量发送消息的大小（单位为字节）。 linger

查看更多 →

Kafka客户端参数配置建议 Kafka客户端的配置参数很多，以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同，以下配置参数适用于1.1.0及以上版本。其他参数和版本配置，请参考Kafka配置。 表1 Producer参数 参数

查看更多 →

配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：

查看更多 →

配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：

查看更多 →

在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例的名称，进入实例详情页面。

查看更多 →

object 规格 type String 目标连接类型。目前支持webhook：http连接；kafka：华为云官方kafka实例 枚举值： WEBHOOK KAFKA kafka_detail KafkaConnectionDetail object created_time

查看更多 →

object 规格 type String 目标连接类型。目前支持webhook：http连接；kafka：华为云官方kafka实例 枚举值： WEBHOOK KAFKA kafka_detail KafkaConnectionDetail object created_time

查看更多 →

properties bootstrap.servers：购买Kafka实例后，获取的Kafka实例的地址。 acks：消息主从同步策略，acks=1表示异步复制消息，acks=-1表示同步复制消息。 batch.size：每次批量发送消息的大小（单位为字节）。 linger.ms：两次发送时间间隔。

查看更多 →

配置Kafka源端参数 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topic 主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式： JSON：以JSON格式解析源数据。 CS V格式：以CSV格式解析源数据。 JSON格式

查看更多 →

Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务全部配置页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect

查看更多 →

在管理控制台左上角单击，选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例名称，进入实例详情页面。

查看更多 →

object 规格 type String 目标连接类型。目前支持webhook：http连接；kafka：华为云官方kafka实例 枚举值： WEBHOOK KAFKA kafka_detail KafkaConnectionDetail object created_time

查看更多 →

同步数据到Hudi。 前提条件 MRS集群已安装CDL组件，并且正常运行。 CDL数据同步任务使用到Kafka组件。 操作步骤 登录 FusionInsight Manager，选择“集群 > 服务 > Kafka > 配置 > 全部配置”。 在右上角搜索框中搜索如下表2参数，并修改对应的参数值。

查看更多 →

转换为jar包，并且将其上传至Flume安装路径下的lib文件夹下（请以用户安装Flume的实际路径为准）。 编写配置文件，需要将自定义的拦截器配置进去。 拦截器全类名配置时需要注意，格式为拦截器的全类名 + $Builder。 # 拦截器配置 # 拦截器定义 a1.sources

查看更多 →

根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。

查看更多 →