文档首页/ 数据治理中心 DataArts Studio/ 用户指南/ 数据集成（离线作业）/ 支持的数据源
更新时间：2024-12-17 GMT+08:00
查看PDF
分享

支持的数据源

数据集成离线同步支持单表同步至目标单表、分库分表同步至目标单表及整库同步至目标单表三种同步方式，不同的同步方式支持的数据源有所不同：

因各版本集群支持的数据源有所差异，其他版本支持的数据源仅做参考。

不同CDM集群支持的数据源程度不一样，以实际为准。

表/文件同步支持的数据源类型

表/文件同步可以实现表或文件级别的数据同步。

支持单表同步的数据源（已支持的数据源即可作为源端，又可作为目的端组成不同链路）如下所示：

  • 数据仓库：DWS、DLI
  • Hadoop：MRS Hive、Apache Hive、MRS HBase、MRS Hudi、OpenSource ClickHouse、Apache HDFS、Doris
  • 对象存储：OBS
  • 文件系统：FTP、SFTP
  • 关系型数据库：RDS（MySQL）、RDS（PostgreSQL）、RDS（SQL Server）、RDS（达梦数据库DM）、RDS（SAP HANA）、Oracle、GBASE
    • 创建数据连接时也支持用户使用自建的数据库，如MySQL、PostgreSQL、SQL Server、达梦数据库DM、SAP HANA，在选择界面对应的RDS（MySQL）、RDS（PostgreSQL）、RDS（SQL Server）、RDS（达梦数据库DM）、RDS（SAP HANA）即可。
    • Apache HDFS目前仅支持作为源端数据源。
  • 非关系型数据库：MongoDB、Redis
  • 消息系统：DMS Kafka
  • 搜索：Elasticsearch
  • 其他：Rest Client
    表1 表/文件迁移支持的数据源

    数据源分类

    源端数据源

    对应的目的端数据源

    说明
      

    MySQL

    MySQL、PostgreSQL、 SQL Server、Oracle、 DWS、SAP HANA、OBS MRS Hive、MRS Hudi DLI、MongoDB、Doris、Kafka、ClickHouse、CSS、 Mrs-HBase 、GBASE8A、 Apache HDFS 、Redis、 Rocket MQ

    		   
               
               
               
               
               
               

分库分表同步支持的数据源类型

分库分表同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于多库多表同步场景。

支持分库分表同步的数据源如下所示：

源端为RDS(MySQL)时支持分库分表同步。

整库同步支持的数据源类型

整库同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线同步场景，不适用于在线实时同步。

支持整库同步的数据源（已支持的数据源即可作为源端，又可作为目的端组成不同链路）如下所示：

  • 读取能力：DWS、RDS(MySQL)、RDS(PostgreSQL)
  • 写入能力：DWS、DLI

相关文档