更新时间:2024-12-27 GMT+08:00
支持的数据源
数据集成离线同步支持单表同步至目标单表、分库分表同步至目标单表及整库同步至目标单表三种同步方式,不同的同步方式支持的数据源有所不同:
- 单表同步:适用于数据入湖和数据上云场景下,表或文件级别的数据同步,支持的数据源请参见表/文件同步支持的数据源类型。
- 分库分表同步:适用于数据入湖和数据上云场景下,多库多表同步场景,支持的数据源请参见分库分表同步支持的数据源类型。
- 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体同步场景,支持的数据源请参见整库同步支持的数据源类型。
因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。
不同CDM集群支持的数据源程度不一样,以实际为准。
表/文件同步支持的数据源类型
表/文件同步可以实现表或文件级别的数据同步。
支持单表同步的数据源(已支持的数据源即可作为源端,又可作为目的端组成不同链路)如下所示:
- 数据仓库:DWS、DLI
- Hadoop:MRS Hive、Apache Hive、MRS HBase、MRS Hudi、OpenSource ClickHouse、Apache HDFS、Doris
- 对象存储:OBS
- 文件系统:FTP、SFTP
- 关系型数据库:RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、RDS(达梦数据库DM)、RDS(SAP HANA)、Oracle、GBASE
- 创建数据连接时也支持用户使用自建的数据库,如MySQL、PostgreSQL、SQL Server、达梦数据库DM、SAP HANA,在选择界面对应的RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、RDS(达梦数据库DM)、RDS(SAP HANA)即可。
- Apache HDFS目前仅支持作为源端数据源。
- 非关系型数据库:MongoDB、Redis
- 消息系统:DMS Kafka
- 搜索:Elasticsearch
- 其他:Rest Client
父主题: 数据集成(离线作业)