更新时间:2025-04-24 GMT+08:00

支持的数据源

数据集成离线同步支持单表同步至目标单表、分库分表同步至目标单表及整库同步至目标单表三种同步方式,不同的同步方式支持的数据源有所不同:

因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。

表/文件同步支持的数据源类型

表/文件同步可以实现表或文件级别的数据同步。

支持单表同步的数据源如表1 离线作业不同数据源读写能力说明所示:
表1 离线作业不同数据源读写能力说明

数据源分类

数据源

单表读

单表写

说明

数据仓库

DWS、DLI

支持

支持

不支持DWS物理机纳管模式。

Hadoop

MRS Hive、MRS Hudi、Doris、MRS ClickHouse、MRS HBase

支持

支持

  • MRS ClickHouse建议使用的版本:21.3.4.X。
  • MRS HBase建议使用的版本:
    • 2.1.X
    • 1.3.X
  • MRS Hive、MRS Hudi暂不支持2.x版本,建议使用的版本:
    • 1.2.X
    • 3.1.X

对象存储

OBS

支持

支持

-

文件系统

FTP、SFTP

支持

不支持

-

关系型数据库

RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、Oracle、RDS(SAP HANA)、GBASE8A

支持

支持

  • 创建数据连接时也支持用户使用自建的数据库,如MySQL、PostgreSQL、SQL Server、达梦数据库DM、SAP HANA,在选择界面对应的RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、RDS(达梦数据库DM)、RDS(SAP HANA)即可。
  • SAP HANA仅支持2.00.050.00.1592305219版本。

RDS(达梦数据库DM)

不支持

不支持

-

非关系型数据库

MongoDB、Redis

支持

支持

  • MongoDB建议使用的版本:4.2。
  • 暂不支持开启SSL的MongoDB数据源。

消息系统

Apache HDFS、DMS Kafka

支持

支持

  • Apache HDFS目前仅支持作为源端数据源。
  • Apache HDFS建议使用的版本:
    • 2.8.X
    • 3.1.X

LTS

支持

不支持

-

Apache RocketMq

不支持

支持

-

搜索

Elasticsearch

支持

支持

-

其他

Rest Client

支持

不支持

-

OpenGauss(GaussDB)

支持

支持

-

分库分表同步支持的数据源类型

分库分表同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。

支持分库分表同步的数据源如下所示:

源端为RDS(MySQL)时支持分库分表同步。

整库同步支持的数据源类型

整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线同步场景,不适用于在线实时同步。

支持整库同步的数据源(已支持的数据源即可作为源端,又可作为目的端组成不同链路)如下所示:

  • 读取能力:DWS、RDS(MySQL)、RDS(PostgreSQL)
  • 写入能力:DWS、DLI