更新时间:2024-04-22 GMT+08:00
分享

开启Kafka高可靠功能

操作场景

如果需执行表1中的CDL数据同步任务时,需开启Kafka高可靠性功能,防止当Kafka发生故障或者Kafka重启时传输的数据丢失。

表1 使用MRS Kafka同步数据的CDL任务

数据源

目的端

描述

MySQL

Hudi

该任务支持从MySQL同步数据到Hudi。

Kafka

该任务支持从MySQL同步数据到Kafka。

PgSQL

Hudi

该任务支持从PgSQL同步数据到Hudi。

Kafka

该任务支持从PgSQL同步数据到Kafka。

Hudi

DWS

该任务支持从Hudi同步数据到DWS。

ClickHouse

该任务支持从Hudi同步数据到ClickHouse。

ThirdKafka

Hudi

该任务支持从ThirdKafka同步数据到Hudi。

Kafka

该任务支持从ThirdKafka同步数据到Kafka。

openGauss(MRS 3.3.0及之后版本支持)

ThirdKafka(DMS/DRS)->Hudi

该任务支持openGauss通过ThirdKafka(DMS/DRS)同步数据到Hudi。

Hudi

该任务支持从openGauss同步数据到Hudi。

Kafka

该任务支持从openGauss同步数据到Kafka。

ogg-oracle-avro(MRS 3.3.0及之后版本支持)

ThirdKafka(DMS/DRS)->Hudi

该任务支持avro-oracle通过ThirdKafka(DMS/DRS)同步数据到Hudi。

前提条件

  • MRS集群已安装CDL组件,并且正常运行。
  • CDL数据同步任务使用到Kafka组件。

操作步骤

  1. 登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 配置 > 全部配置”。
  2. 在右上角搜索框中搜索如下表2参数,并修改对应的参数值。

    表2 修改Kafka参数

    参数

    推荐值

    说明

    unclean.leader.election.enable

    false

    是否允许不在ISR中的副本被选举为Leader,如果设置为“true”,可能会造成数据丢失。

    min.insync.replicas

    2

    当“offsets.commit.required.acks”参数值为“-1”时,指定需要写入成功的副本的最小数目。

  3. 单击“保存”,保存配置。
  4. 单击“概览”,选择“更多 > 滚动重启服务”,滚动重启Kafka。
分享:

    相关文档

    相关产品