更新时间:2025-01-20 GMT+08:00
支持的数据源
数据集成离线同步支持单表同步至目标单表、分库分表同步至目标单表及整库同步至目标单表三种同步方式,不同的同步方式支持的数据源有所不同:
- 单表同步:适用于数据入湖和数据上云场景下,表或文件级别的数据同步,支持的数据源请参见表/文件同步支持的数据源类型。
- 分库分表同步:适用于数据入湖和数据上云场景下,多库多表同步场景,支持的数据源请参见分库分表同步支持的数据源类型。
- 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体同步场景,支持的数据源请参见整库同步支持的数据源类型。
因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。
不同CDM集群支持的数据源程度不一样,以实际为准。
表/文件同步支持的数据源类型
表/文件同步可以实现表或文件级别的数据同步。
支持单表同步的数据源如表1 离线作业不同数据源读写能力说明所示:
数据源分类 |
数据源 |
单表读 |
单表写 |
---|---|---|---|
数据仓库 |
DWS、DLI |
支持 |
支持 |
Hadoop |
MRS Hive、MRS Hudi、Doris、ClickHouse、MRS HBase |
支持 |
支持 |
对象存储 |
OBS |
支持 |
支持 |
文件系统 |
FTP、SFTP |
支持 |
不支持 |
关系型数据库 |
RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、Oracle、RDS(SAP HANA)、GBASE8A
说明:
|
支持 |
支持 |
RDS(达梦数据库DM) |
不支持 |
不支持 |
|
非关系型数据库 |
MongoDB、Redis |
支持 |
支持 |
消息系统 |
Apache HDFS、DMS Kafka |
支持 |
支持 |
LTS |
支持 |
不支持 |
|
Apache RocketMq |
不支持 |
支持 |
|
搜索 |
Elasticsearch |
支持 |
支持 |
其他 |
Rest Client |
支持 |
不支持 |
父主题: 数据集成(离线作业)