dms_link 服务类型 选择DMS Kafka版本，目前只有专享版。 专享版 Kafka Broker Kafka专享版实例的地址，格式为 host:port。 - Kafka SASL_SSL 选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。当DMS Kafka实例的连

查看更多 →

Kafka常用配置参数 本章节内容适用于 MRS 3.x及后续版本。 参数入口 参数入口，请参考修改集群服务配置参数。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect.datapart

查看更多 →

根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。

查看更多 →

根据业务情况，准备好客户端，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令，配置环境变量。 source /opt/client/bigdata_env

查看更多 →

Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect

查看更多 →

同步数据到Hudi。 前提条件 MRS集群已安装CDL组件，并且正常运行。 CDL数据同步任务使用到Kafka组件。 操作步骤 登录 FusionInsight Manager，选择“集群 > 服务 > Kafka > 配置 > 全部配置”。 在右上角搜索框中搜索如下表2参数，并修改对应的参数值。

查看更多 →

转换为jar包，并且将其上传至Flume安装路径下的lib文件夹下（请以用户安装Flume的实际路径为准）。 编写配置文件，需要将自定义的拦截器配置进去。 拦截器全类名配置时需要注意，格式为拦截器的全类名 + $Builder。 # 拦截器配置 # 拦截器定义 a1.sources

查看更多 →

在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称，进入“基本信息”页面。 在“实例信息”区域的“Kafka自动创建Topic”后，单击或，弹出“确认”对话框。 开启/关闭“Kafka自动创建Topic”可能会导致实例重启，具体以控制台显示为准。

查看更多 →

副本数，配置数据的可靠性 partition Integer Topic分区数，设置消费的并发数。 retention_time Integer 消息老化时间。 sync_replication Boolean 是否开启同步复制，开启后，客户端生产消息时相应的也要设置acks=-1，否则不生效。

查看更多 →

- "org.apache.kafka.common.serialization.StringSerializer" 定义拓扑的配置示例： config: #简单配置项 topology.workers: 1 #配置项值为列表，使用`[]`表示 topology

查看更多 →

客户端参数配置建议 Kafka客户端的配置参数很多，以下提供Producer和Consumer几个常用参数配置。 表1 Producer参数 参数 默认值 推荐值 说明 acks 1 高可靠：all 高吞吐：1 收到Server端确认信号个数，表示procuder需要收到多少个这

查看更多 →

配置Kafka监控告警 本章节主要介绍部分监控指标的告警策略，以及配置操作。在实际业务中，建议按照以下告警策略，配置监控指标的告警规则。 表1 Kafka实例的告警策略和处理建议 指标ID 指标名称 测量对象 告警策略 指标说明 告警处理建议 broker_disk_usage 磁盘容量使用率

查看更多 →

修改Kafka实例配置参数 操作场景 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值，您可以根据实际业务需求，在控制台自行修改参数值。其他在控制台未列出的配置参数，请参考Kafka配置进行修改。 Kafka实例的参数分为动态参数和静态参数： 动

查看更多 →

配置Kafka应用安全认证 使用Sasl Kerberos认证 使用Kafka Token认证 父主题： 准备Kafka应用开发环境

查看更多 →

配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题： 连接实例

查看更多 →

配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka的SSL证书 配置Kafka的SSL双向认证 配置Kafka用户 父主题： 连接实例

查看更多 →

MRS集群管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组，普通模式不需要）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client

查看更多 →

模式不需要）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命

查看更多 →

配置Kafka客户端 Kafka客户端参数配置建议 Kafka客户端使用建议 父主题： 连接实例

查看更多 →

成有序消息队列使用。如果Key为空，则消息分布式存储在不同的消息分区。 失败重试分配 日志推送到Kafka失败后的重试配置。 重试次数：失败后的重试次数，范围为0-5次。 重试间隔时间：失败后的重试时间间隔，范围为1-10秒。 SASL配置信息 安全协议 连接目标Kafka所使用的安全协议。

查看更多 →

配置ClickHouse对接Kafka 配置ClickHouse通过用户密码对接Kafka 配置ClickHouse通过Kerberos认证对接Kafka 配置ClickHouse对接普通模式Kafka 父主题： ClickHouse数据导入

查看更多 →