文档首页/ MapReduce服务 MRS/ 组件操作指南（LTS版）/ 使用CDL/ 创建CDL作业前准备/ 开启Kafka高可靠功能
更新时间：2024-07-24 GMT+08:00
查看PDF
分享

开启Kafka高可靠功能

操作场景

如果需执行表1中的CDL数据同步任务时，需开启Kafka高可靠性功能，防止当Kafka发生故障或者Kafka重启时传输的数据丢失。

表1 使用MRS Kafka同步数据的CDL任务

数据源

目的端

描述

MySQL

Hudi

该任务支持从MySQL同步数据到Hudi。

Kafka

该任务支持从MySQL同步数据到Kafka。

PgSQL

Hudi

该任务支持从PgSQL同步数据到Hudi。

Kafka

该任务支持从PgSQL同步数据到Kafka。

Hudi

DWS

该任务支持从Hudi同步数据到DWS。

ClickHouse

该任务支持从Hudi同步数据到ClickHouse。

ThirdKafka

Hudi

该任务支持从ThirdKafka同步数据到Hudi。

Kafka

该任务支持从ThirdKafka同步数据到Kafka。

openGauss（MRS 3.3.0及之后版本支持）

ThirdKafka（DMS/DRS）->Hudi

该任务支持openGauss通过ThirdKafka（DMS/DRS）同步数据到Hudi。

Hudi

该任务支持从openGauss同步数据到Hudi。

Kafka

该任务支持从openGauss同步数据到Kafka。

ogg-oracle-avro（MRS 3.3.0及之后版本支持）

ThirdKafka（DMS/DRS）->Hudi

该任务支持avro-oracle通过ThirdKafka（DMS/DRS）同步数据到Hudi。

前提条件

  • MRS集群已安装CDL组件，并且正常运行。
  • CDL数据同步任务使用到Kafka组件。

操作步骤

  1. 登录FusionInsight Manager，选择“集群 > 服务 > Kafka > 配置 > 全部配置”。
  2. 在右上角搜索框中搜索如下表2参数，并修改对应的参数值。

    表2 修改Kafka参数

    参数

    推荐值

    说明

    unclean.leader.election.enable

    false

    是否允许不在ISR中的副本被选举为Leader，如果设置为“true”，可能会造成数据丢失。

    min.insync.replicas

    2

    当“offsets.commit.required.acks”参数值为“-1”时，指定需要写入成功的副本的最小数目。

  3. 单击“保存”，保存配置。
  4. 单击“概览”，选择“更多 > 滚动重启服务”，滚动重启Kafka。