更新时间:2024-11-25 GMT+08:00
分享

同步方案概览

实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。

实时同步不同于迁移,迁移是以整体数据库搬迁为目的,而实时同步是维持不同业务之间的数据持续性流动。

常用场景:实时分析,报表系统,数仓环境。

同步特点:实时同步功能聚焦于表和数据,并满足多种灵活性的需求,例如多对一、一对多,动态增减同步表,不同表名之间同步数据等。

图1 实时同步原理

支持的数据库类型

目前,DRS实时同步支持的源数据库和目标数据库类型,如下表所示。

表1 同步方案

源数据库类型

目标数据库类型

同步模式

相关文档

  • 本地自建MySQL数据库
  • ECS自建MySQL数据库
  • 其他云上MySQL数据库
  • RDS for MySQL

RDS for MySQL

增量数据同步

全量数据同步

全量+增量数据同步

将MySQL同步到MySQL(入云)

GaussDB(for MySQL)

增量数据同步

全量+增量数据同步

将MySQL同步到GaussDB(for MySQL)

RDS for PostgreSQL

全量数据同步

全量+增量数据同步

将MySQL同步到PostgreSQL

GaussDB分布式版

增量数据同步

全量数据同步

全量+增量数据同步

将MySQL同步到GaussDB分布式版(入云)

将MySQL同步到GaussDB分布式版(自建)

GaussDB主备版

增量数据同步

全量数据同步

全量+增量数据同步

将MySQL同步到GaussDB主备版(入云)

将MySQL同步到GaussDB主备版(自建)

GaussDB(DWS)

说明:

本服务目前已不支持,请使用数据治理中心进行同步。

增量数据同步

全量数据同步

全量+增量数据同步

将MySQL同步到GaussDB(DWS)

数据治理中心

RDS for MariaDB

增量数据同步

全量数据同步

全量+增量数据同步

将MySQL同步到MariaDB(入云)

RDS for MySQL

  • 本地自建MySQL数据库
  • ECS自建MySQL数据库
  • 其他云上MySQL数据库

增量数据同步

全量+增量数据同步

将MySQL同步到MySQL(出云)

Kafka

增量数据同步

全量+增量数据同步

将MySQL同步到Kafka(出云)

CSS/ES

全量+增量数据同步

将MySQL同步到CSS/ES(出云)

  • 本地自建Oracle数据库
  • ECS自建Oracle数据库

全量+增量数据同步

将MySQL同步到Oracle

  • 本地自建MariaDB数据库
  • ECS自建MariaDB数据库
  • 其他云上MariaDB数据库

增量数据同步

全量数据同步

全量+增量数据同步

将MySQL同步到MariaDB(出云)

  • 本地自建MySQL数据库
  • ECS自建MySQL数据库

Kafka

增量数据同步

全量+增量数据同步

将MySQL同步到Kafka(自建-自建)

CSS/ES

全量+增量数据同步

将MySQL同步到CSS/ES(自建-自建)

  • 本地自建PostgreSQL数据库
  • ECS自建PostgreSQL数据库
  • 其他云上PostgreSQL数据库
  • RDS for PostgreSQL

RDS for PostgreSQL

增量数据同步

全量数据同步

全量+增量数据同步

将PostgreSQL同步到PostgreSQL

GaussDB(DWS)

说明:

目前仅支持白名单用户使用。

全量+增量数据同步

将PostgreSQL同步到GaussDB(DWS)

GaussDB主备版

增量数据同步

全量数据同步

全量+增量数据同步

说明:

目前单增量数据同步仅支持白名单用户使用。

将PostgreSQL同步到GaussDB主备版

GaussDB分布式版

增量数据同步

全量数据同步

全量+增量数据同步

说明:

目前单增量数据同步仅支持白名单用户使用。

将PostgreSQL同步到GaussDB分布式版

  • 本地自建PostgreSQL数据库
  • ECS自建PostgreSQL数据库

Kafka

增量数据同步

将PostgreSQL同步到Kafka(自建-自建)

RDS for PostgreSQL

  • 本地自建PostgreSQL数据库
  • ECS自建PostgreSQL数据库

增量数据同步

全量数据同步

全量+增量数据同步

将PostgreSQL同步到PostgreSQL(出云)

Kafka

增量数据同步

将PostgreSQL同步到Kafka(出云)

DDM

RDS for MySQL

增量数据同步

全量数据同步

全量+增量数据同步

将DDM同步到MySQL(入云)

  • 本地自建MySQL数据库
  • ECS自建MySQL数据库
  • 其他云上MySQL数据库

增量数据同步

全量数据同步

全量+增量数据同步

将DDM同步到MySQL(出云)

DDM

全量+增量数据同步

将DDM同步到DDM

GaussDB(DWS)

说明:

本服务目前已不支持,请使用数据治理中心进行同步。

全量+增量数据同步

将DDM同步到GaussDB(DWS)

数据治理中心

  • 本地自建Oracle数据库
  • ECS自建Oracle数据库

增量数据同步

全量数据同步

全量+增量数据同步

将DDM同步到Oracle

Kafka

增量数据同步

将DDM同步到Kafka

  • 本地自建Oracle数据库
  • ECS自建Oracle数据库

RDS for MySQL

增量数据同步

全量数据同步

全量+增量数据同步

将Oracle同步到MySQL

GaussDB(for MySQL)

全量数据同步

全量+增量数据同步

将Oracle同步到GaussDB(for MySQL)

RDS for PostgreSQL

全量数据同步

全量+增量数据同步

将Oracle同步到PostgreSQL

GaussDB主备版

增量数据同步

全量数据同步

全量+增量数据同步

将Oracle同步到GaussDB主备版(入云)

将Oracle同步到GaussDB主备版(自建-自建)

GaussDB分布式版

增量数据同步

全量数据同步

全量+增量数据同步

将Oracle同步到GaussDB分布式版(入云)

将Oracle同步到GaussDB分布式版(自建-自建)

DDM

全量数据同步

全量+增量数据同步

将Oracle同步到DDM

GaussDB(DWS)

说明:

目前仅支持白名单用户使用。

增量数据同步

全量数据同步

全量+增量数据同步

将Oracle同步到GaussDB(DWS)

Kafka

增量数据同步

将Oracle同步到Kafka

GaussDB分布式版

  • 本地自建MySQL数据库
  • ECS自建MySQL数据库
  • 其他云上MySQL数据库
  • RDS for MySQL

全量数据同步

增量数据同步

全量+增量数据同步

将GaussDB分布式版同步到MySQL(出云)

将GaussDB分布式版同步到MySQL(自建-自建)

  • 本地自建Oracle数据库
  • ECS自建Oracle数据库

全量数据同步

增量数据同步

全量+增量数据同步

将GaussDB分布式版同步到Oracle(出云)

将GaussDB分布式版同步到Oracle(自建-自建)

GaussDB(DWS)

说明:

目前仅支持白名单用户使用。

全量数据同步

增量数据同步

全量+增量数据同步

将GaussDB分布式版同步到GaussDB(DWS)

Kafka

增量数据同步

将GaussDB分布式版同步到Kafka(出云)

将GaussDB分布式版同步到Kafka(自建-自建)

GaussDB分布式版

全量数据同步

增量数据同步

全量+增量数据同步

将GaussDB分布式版同步到GaussDB分布式版(出云)

将GaussDB分布式版同步到GaussDB分布式版(自建-自建)

GaussDB主备版

全量数据同步

增量数据同步

全量+增量数据同步

将GaussDB分布式版同步到GaussDB主备版(出云)

将GaussDB分布式版同步到GaussDB主备版(自建-自建)

GaussDB主备版

  • 本地自建MySQL数据库
  • ECS自建MySQL数据库
  • 其他云上MySQL数据库
  • RDS for MySQL

全量数据同步

增量数据同步

全量+增量数据同步

将GaussDB主备版同步到MySQL(出云)

将GaussDB主备版同步到MySQL(自建-自建)

  • 本地自建Oracle数据库
  • ECS自建Oracle数据库

全量数据同步

增量数据同步

全量+增量数据同步

将GaussDB主备版同步到Oracle(出云)

将GaussDB主备版同步到Oracle(自建-自建)

Kafka

增量数据同步

将GaussDB主备版同步到Kafka(出云)

将GaussDB主备版同步到Kafka(自建-自建)

GaussDB(DWS)

说明:

目前仅支持白名单用户使用。

全量数据同步

增量数据同步

全量+增量数据同步

将GaussDB主备版同步到GaussDB(DWS)

GaussDB分布式版

全量数据同步

增量数据同步

全量+增量数据同步

将GaussDB主备版同步到GaussDB分布式版(出云)

将GaussDB主备版同步到GaussDB分布式版(自建-自建)

GaussDB主备版

全量数据同步

增量数据同步

全量+增量数据同步

将GaussDB主备版同步到GaussDB主备版(出云)

将GaussDB主备版同步到GaussDB主备版(自建-自建)

GaussDB(for MySQL)

GaussDB(for MySQL)

增量数据同步

全量+增量数据同步

将GaussDB(for MySQL)同步到GaussDB(for MySQL)

  • 本地自建MySQL数据库
  • ECS自建MySQL数据库
  • 其他云上MySQL数据库
  • RDS for MySQL

增量数据同步

全量+增量数据同步

将GaussDB(for MySQL)同步到MySQL

GaussDB(DWS)

说明:

本服务目前已不支持,请使用数据治理中心进行同步。

全量+增量数据同步

数据治理中心

Kafka

增量数据同步

全量+增量数据同步

将GaussDB(for MySQL)同步到Kafka

CSS/ES

全量+增量数据同步

将GaussDB(for MySQL)同步到CSS/ES

  • 本地自建Oracle数据库
  • ECS自建Oracle数据库

全量+增量数据同步

将GaussDB(for MySQL)同步到Oracle

DDS

  • 自建MongoDB
  • 其他云上MongoDB

增量数据同步支持以下方式:

副本集到副本集

集群到集群(源数据库集群版本不小于4.0)

将DDS同步到MongoDB

Kafka

增量数据同步

将DDS同步到Kafka

DB2 for LUW

GaussDB分布式版

全量数据同步

全量+增量数据同步

将DB2 for LUW同步到GaussDB主备版(入云)

将DB2 for LUW同步到GaussDB主备版(自建)

GaussDB主备版

全量数据同步

全量+增量数据同步

将DB2 for LUW同步到GaussDB分布式版(入云)

将DB2 for LUW同步到GaussDB分布式版

自建)

TiDB

GaussDB(for MySQL)

全量+增量数据同步

将TiDB同步到GaussDB(for MySQL)

  • 本地自建Microsoft SQL Server数据库
  • ECS自建Microsoft SQL Server数据库
  • 其他云上完全兼容Microsoft SQL Server的数据库
  • RDS for SQL Server

GaussDB(DWS)

说明:

目前仅支持白名单用户使用。

全量+增量数据同步

将Microsoft SQL Server同步到GaussDB(DWS)

GaussDB主备版

增量数据同步

全量数据同步

全量+增量数据同步

将Microsoft SQL Server同步到GaussDB主备版

GaussDB分布式版

增量数据同步

全量数据同步

全量+增量数据同步

将Microsoft SQL Server同步到GaussDB分布式版

Microsoft SQL Server

全量+增量数据同步

将Microsoft SQL Server同步到Microsoft SQL Server

RDS for MySQL

说明:

目前仅支持白名单用户使用。

增量数据同步

全量数据同步

全量+增量数据同步

将Microsoft SQL Server同步到MySQL

GaussDB(for MySQL)

说明:

目前仅支持白名单用户使用。

增量数据同步

全量数据同步

全量+增量数据同步

将Microsoft SQL Server同步到GaussDB(for MySQL)

PostgreSQL

说明:

目前仅支持白名单用户使用。

增量数据同步

全量数据同步

全量+增量数据同步

将Microsoft SQL Server同步到PostgreSQL

RDS for SQL Server

Kafka

说明:

目前仅支持白名单用户使用。

增量数据同步

将Microsoft SQL Server同步到Kafka(出云)

  • 本地自建Microsoft SQL Server数据库
  • ECS自建Microsoft SQL Server数据库
  • 其他云上完全兼容Microsoft SQL Server的数据库

Kafka

说明:

目前仅支持白名单用户使用。

增量数据同步

将Microsoft SQL Server同步到Kafka(自建-自建)

  • 本地自建Mongo数据库
  • ECS自建Mongo数据库
  • 其他云上Mongo数据库
  • DDS

DDS

全量+增量数据同步支持以下方式:

副本集到副本集

将MongoDB同步到DDS

  • 本地自建MariaDB数据库
  • ECS自建MariaDB数据库
  • 其他云上MariaDB数据库

RDS for MariaDB

全量+增量数据同步

将MariaDB同步到MariaDB

  • 本地自建MariaDB数据库
  • ECS自建MariaDB数据库
  • 其他云上MariaDB数据库

RDS for MySQL

增量数据同步

全量+增量数据同步

将MariaDB同步到MySQL

GaussDB(for MySQL)

增量数据同步

全量+增量数据同步

将MariaDB同步到GaussDB(for MySQL)

RDS for MariaDB

  • 本地自建MariaDB数据库
  • ECS自建MariaDB数据库
  • 其他云上MariaDB数据库

全量+增量数据同步

将MariaDB同步到MariaDB

Cassandra

GeminiDB Cassandra

全量数据同步

将Cassandra同步到GeminiDB Cassandra

其他云上DynamoDB(Web服务)

GeminiDB Dynamo

说明:

目前仅支持白名单用户使用。

全量数据同步

全量+增量数据同步

将Dynamo同步到GeminiDB Dynamo

  • 本地自建官方开源单机或主备Redis数据库
  • ECS自建官方开源单机或主备Redis数据库

GeminiDB Redis

说明:

目前仅支持白名单用户使用。

全量数据同步

全量+增量数据同步

将Redis 同步到GeminiDB Redis

  • 本地自建官方Redis开源集群
  • ECS自建官方Redis开源集群

GeminiDB Redis

说明:

目前仅支持白名单用户使用。

全量+增量数据同步

将Redis集群同步到GeminiDB Redis

GeminiDB Redis

  • 本地自建开源Codis
  • ECS自建开源Codis
  • 本地自建Redis单机/主备
  • ECS自建Redis单机/主备
  • GeminiDB Redis
说明:

目前仅支持白名单用户使用。

全量+增量数据同步

将GeminiDB Redis同步到Redis

  • 本地自建Redis集群
  • ECS自建Redis集群
    说明:

    目前仅支持白名单用户使用。

全量+增量数据同步

将GeminiDB Redis同步到Redis集群

源为其他云同步方案概览

DRS支持将其他云数据库(例如AWS的RDS for MySQL、Aurora for MySQL)中的数据同步至华为云数据库(例如云数据库RDS for MySQL)中。

表2 同步方案

源数据库云厂商

源数据库类型

目标数据库(华为云)

方案

AWS

RDS for MySQL

RDS for MySQL

将MySQL同步到MySQL

AWS

RDS for MySQL

GaussDB(for MySQL)

将MySQL同步到GaussDB(for MySQL)

AWS

Aurora for MySQL

RDS for MySQL

将MySQL同步到MySQL

AWS

Aurora for MySQL

GaussDB(for MySQL)

将MySQL同步到GaussDB(for MySQL)

AWS

RDS for MariaDB

RDS for MariaDB

将MariaDB同步到MariaDB

AWS

RDS for PostgreSQL

RDS for PostgreSQL

将PostgreSQL同步到PostgreSQL

AWS

Aurora for PostgreSQL(非Serverless)

RDS for PostgreSQL

将PostgreSQL同步到PostgreSQL

AWS

RDS for Oracle

GaussDB主备版

将Oracle同步到GaussDB主备版

AWS

RDS for Oracle

GaussDB分布式版

将Oracle同步到GaussDB分布式版

AWS

RDS for Microsoft SQL Server

RDS for SQL Server

将Microsoft SQL Server同步到Microsoft SQL Server

AWS

RDS for Microsoft SQL Server

GaussDB主备版

5.3.31 将Microsoft SQL Server同步到GaussDB主备版

AWS

RDS for Microsoft SQL Server

GaussDB分布式版

5.3.32 将Microsoft SQL Server同步到GaussDB分布式版

Azure

Database for MySQL

RDS for MySQL

将MySQL同步到MySQL

Azure

Database for MySQL

GaussDB(for MySQL)

将MySQL同步到GaussDB(for MySQL)

Azure

Database for MariaDB

RDS for MariaDB

将MariaDB同步到MariaDB

Azure

Database for PostgreSQL

RDS for PostgreSQL

将PostgreSQL同步到PostgreSQL

Azure

SQL Server on Azure VMs

RDS for SQL Server

将Microsoft SQL Server同步到Microsoft SQL Server

Azure

Azure SQL Database(DB)

RDS for SQL Server

将Microsoft SQL Server同步到Microsoft SQL Server

Azure

Azure SQL Managed Insatnce(MI)

RDS for SQL Server

将Microsoft SQL Server同步到Microsoft SQL Server

Azure

SQL Server on Azure VMs

GaussDB主备版

5.3.31 将Microsoft SQL Server同步到GaussDB主备版

Azure

Azure SQL Database(DB)

GaussDB主备版

5.3.31 将Microsoft SQL Server同步到GaussDB主备版

Azure

Azure SQL Managed Insatnce(MI)

GaussDB主备版

5.3.31 将Microsoft SQL Server同步到GaussDB主备版

Azure

SQL Server on Azure VMs

GaussDB分布式版

5.3.32 将Microsoft SQL Server同步到GaussDB分布式版

Azure

Azure SQL Database(DB)

GaussDB分布式版

5.3.32 将Microsoft SQL Server同步到GaussDB分布式版

Azure

Azure SQL Managed Insatnce(MI)

GaussDB分布式版

5.3.32 将Microsoft SQL Server同步到GaussDB分布式版

Google

Cloud SQL for MySQL

RDS for MySQL

将MySQL同步到MySQL

Google

Cloud SQL for MySQL

GaussDB(for MySQL)

将MySQL同步到GaussDB(for MySQL)

Google

Cloud SQL for PostgreSQL

RDS for PostgreSQL

将PostgreSQL同步到PostgreSQL

阿里云

RDS MySQL

RDS for MySQL

将MySQL同步到MySQL

阿里云

RDS MySQL

GaussDB(for MySQL)

将MySQL同步到GaussDB(for MySQL)

阿里云

PolarDB MySQL

RDS for MySQL

将MySQL同步到MySQL

阿里云

PolarDB MySQL

GaussDB(for MySQL)

将MySQL同步到GaussDB(for MySQL)

阿里云

RDS MariaDB

RDS for MariaDB

将MariaDB同步到MariaDB

阿里云

RDS PostgreSQL

RDS for PostgreSQL

将PostgreSQL同步到PostgreSQL

阿里云

PolarDB PostgreSQL标准版和企业版

RDS for PostgreSQL

将PostgreSQL同步到PostgreSQL

腾讯云

TencentDB for MySQL

RDS for MySQL

将MySQL同步到MySQL

腾讯云

TencentDB for MySQL

GaussDB(for MySQL)

将MySQL同步到GaussDB(for MySQL)

腾讯云

TDSQL-C MySQL

RDS for MySQL

将MySQL同步到MySQL

腾讯云

TDSQL-C MySQL

GaussDB(for MySQL)

将MySQL同步到GaussDB(for MySQL)

腾讯云

TencentDB for PostgreSQL

RDS for PostgreSQL

将PostgreSQL同步到PostgreSQL

相关文档