更新时间:2025-01-20 GMT+08:00

支持的数据源

数据集成离线同步支持单表同步至目标单表、分库分表同步至目标单表及整库同步至目标单表三种同步方式,不同的同步方式支持的数据源有所不同:

因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。

不同CDM集群支持的数据源程度不一样,以实际为准。

表/文件同步支持的数据源类型

表/文件同步可以实现表或文件级别的数据同步。

支持单表同步的数据源如表1 离线作业不同数据源读写能力说明所示:
表1 离线作业不同数据源读写能力说明

数据源分类

数据源

单表读

单表写

数据仓库

DWS、DLI

支持

支持

Hadoop

MRS Hive、MRS Hudi、Doris、ClickHouse、MRS HBase

支持

支持

对象存储

OBS

支持

支持

文件系统

FTP、SFTP

支持

不支持

关系型数据库

RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、Oracle、RDS(SAP HANA)、GBASE8A

说明:
  • 创建数据连接时也支持用户使用自建的数据库,如MySQL、PostgreSQL、SQL Server、达梦数据库DM、SAP HANA,在选择界面对应的RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、RDS(达梦数据库DM)、RDS(SAP HANA)即可。
  • Apache HDFS目前仅支持作为源端数据源。

支持

支持

RDS(达梦数据库DM)

不支持

不支持

非关系型数据库

MongoDB、Redis

支持

支持

消息系统

Apache HDFS、DMS Kafka

支持

支持

LTS

支持

不支持

Apache RocketMq

不支持

支持

搜索

Elasticsearch

支持

支持

其他

Rest Client

支持

不支持

分库分表同步支持的数据源类型

分库分表同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。

支持分库分表同步的数据源如下所示:

源端为RDS(MySQL)时支持分库分表同步。

整库同步支持的数据源类型

整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线同步场景,不适用于在线实时同步。

支持整库同步的数据源(已支持的数据源即可作为源端,又可作为目的端组成不同链路)如下所示:

  • 读取能力:DWS、RDS(MySQL)、RDS(PostgreSQL)
  • 写入能力:DWS、DLI