支持的数据源(2.9.2.200)
- 表/文件迁移:适用于数据入湖和数据上云场景下,表或文件级别的数据迁移,请参见表/文件迁移支持的数据源类型。
- 整库迁移:适用于数据入湖和数据上云场景下,离线或自建数据库整体迁移场景,请参见整库迁移支持的数据源类型。
本文介绍2.9.2.200版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。
表/文件迁移支持的数据源类型
表/文件迁移可以实现表或文件级别的数据迁移。
数据源分类 |
源端数据源 |
对应的目的端数据源 |
说明 |
---|---|---|---|
数据仓库 |
数据仓库服务(DWS) |
|
不支持DWS物理机纳管模式。 |
数据湖探索(DLI) |
- |
||
MRS ClickHouse |
数据仓库:MRS ClickHouse,数据湖探索(DLI) |
||
Hadoop |
MRS HDFS |
|
|
MRS HBase |
|||
MRS Hive |
|
||
MRS Hudi |
数据仓库:数据仓库服务(DWS) |
||
FusionInsight HDFS |
|
|
|
FusionInsight HBase |
|||
FusionInsight Hive |
|||
Apache HBase |
|
|
|
Apache Hive |
|||
Apache HDFS |
|||
对象存储 |
对象存储服务(OBS) |
|
|
文件系统 |
FTP |
|
|
SFTP |
|||
HTTP |
Hadoop:MRS HDFS |
||
关系型数据库 |
云数据库 MySQL |
|
|
云数据库 SQL Server |
|
||
云数据库 PostgreSQL |
|||
MySQL |
|
||
PostgreSQL |
|||
Oracle |
|||
Microsoft SQL Server |
|
||
SAP HANA |
|
SAP HANA数据源存在如下约束:
|
|
分库 |
|
分库数据源不支持作为目的端。 分库指的是同时连接多个后端数据源,该连接可作为作业源端,将多个数据源的数据合一迁移到其他数据源上。 |
|
NoSQL |
Redis |
Hadoop:MRS HDFS,MRS HBase,MRS Hive |
除了表格存储服务(CloudTable)外,其他NoSQL数据源不支持作为目的端。 |
文档数据库服务(DDS) |
|||
MongoDB |
|||
表格存储服务(CloudTable HBase) |
|
||
Cassandra |
|
||
消息系统 |
数据接入服务(DIS) |
搜索:云搜索服务(CSS) |
消息系统不支持作为目的端。 |
Apache Kafka |
|||
DMS Kafka |
|||
MRS Kafka |
|
||
搜索 |
Elasticsearch |
|
Elasticsearch仅支持非安全模式。 |
云搜索服务(CSS) |
导入数据到CSS推荐使用Logstash,请参见使用Logstash导入数据到Elasticsearch。 |
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。
整库迁移支持的数据源类型
整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。
数据集成支持整库迁移的数据源如表2所示。
数据源分类 |
数据源 |
读取 |
写入 |
说明 |
---|---|---|---|---|
数据仓库 |
数据仓库服务(DWS) |
支持 |
支持 |
- |
Hadoop (仅支持本地存储,不支持存算分离场景,不支持Ranger场景,不支持ZK开启SSL场景) |
MRS HBase |
支持 |
支持 |
整库迁移仅支持导出到MRS HBase。
建议使用的版本:
当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 |
MRS Hive |
支持 |
支持 |
整库迁移仅支持导出到关系型数据库。
暂不支持2.x版本,建议使用的版本:
当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 |
|
FusionInsight HBase |
支持 |
不支持 |
建议使用的版本:
|
|
FusionInsight Hive |
支持 |
不支持 |
整库迁移仅支持导出到关系型数据库。
暂不支持2.x版本,建议使用的版本:
|
|
Apache HBase |
支持 |
不支持 |
建议使用的版本:
|
|
Apache Hive |
支持 |
不支持 |
整库迁移仅支持导出到关系型数据库。
暂不支持2.x版本,建议使用的版本:
|
|
关系数据库 |
云数据库 MySQL |
支持 |
支持 |
不支持OLTP到OLTP迁移,此场景推荐通过数据复制服务DRS进行迁移。 |
云数据库 PostgreSQL |
支持 |
支持 |
||
云数据库 SQL Server |
支持 |
支持 |
||
MySQL |
支持 |
不支持 |
||
PostgreSQL |
支持 |
不支持 |
||
Microsoft SQL Server |
支持 |
不支持 |
||
Oracle |
支持 |
不支持 |
||
SAP HANA |
支持 |
不支持 |
|
|
达梦数据库 DM |
支持 |
不支持 |
仅支持导出到DWS、Hive |
|
NoSQL |
Redis |
支持 |
支持 |
- |
文档数据库服务(DDS) |
支持 |
支持 |
仅支持DDS和MRS之间迁移。 |
|
表格存储服务(CloudTable) |
支持 |
支持 |
- |