支持的数据源

数据集成离线同步支持单表同步至目标单表、分库分表同步至目标单表及整库同步至目标单表三种同步方式，不同的同步方式支持的数据源有所不同：

因各版本集群支持的数据源有所差异，其他版本支持的数据源仅做参考。

表/文件同步可以实现表或文件级别的数据同步。

支持单表同步的数据源如表1 离线作业不同数据源读写能力说明所示：

表1 离线作业不同数据源读写能力说明
数据源分类	数据源	单表读	单表写	说明
数据仓库	DWS、DLI	支持	支持	不支持DWS物理机纳管模式。
Hadoop	MRS Hive、MRS Hudi、Doris、MRS ClickHouse、MRS HBase	支持	支持	MRS ClickHouse建议使用的版本：21.3.4.X。 MRS HBase建议使用的版本： 2.1.X 1.3.X MRS Hive、MRS Hudi暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X
对象存储	OBS	支持	支持	-
文件系统	FTP、SFTP	支持	不支持	-
关系型数据库	RDS（MySQL）、RDS（PostgreSQL）、RDS（SQL Server）、Oracle、RDS（SAP HANA）、GBASE8A	支持	支持	创建数据连接时也支持用户使用自建的数据库，如MySQL、PostgreSQL、SQL Server、达梦数据库DM、SAP HANA，在选择界面对应的RDS（MySQL）、RDS（PostgreSQL）、RDS（SQL Server）、RDS（达梦数据库DM）、RDS（SAP HANA）即可。 SAP HANA仅支持2.00.050.00.1592305219版本。
关系型数据库	RDS（达梦数据库DM）	不支持	不支持	-
非关系型数据库	MongoDB、Redis	支持	支持	MongoDB建议使用的版本：4.2。暂不支持开启SSL的MongoDB数据源。
消息系统	Apache HDFS、DMS Kafka	支持	支持	Apache HDFS目前仅支持作为源端数据源。 Apache HDFS建议使用的版本： 2.8.X 3.1.X
	LTS	支持	不支持	-
	Apache RocketMq	不支持	支持	-
搜索	Elasticsearch	支持	支持	-
其他	Rest Client	支持	不支持	-
其他	OpenGauss（GaussDB）	支持	支持	-

分库分表同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于多库多表同步场景。

支持分库分表同步的数据源如下所示：

源端为RDS（MySQL）时支持分库分表同步。

整库同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线同步场景，不适用于在线实时同步。

支持整库同步的数据源（已支持的数据源即可作为源端，又可作为目的端组成不同链路）如下所示：

表2 不同数据源支持的能力说明
数据源		读取能力			字段映射		写入能力	任务配置
类型	数据源	分片	自定义字段	数据源调优参数	字段批量映射	字段映射样例	数据源调优参数	脏数据
关系型数据库	MySQL PostgreSQL SQL Server Oracle DWS SAP HANA Gbase8A	√	√	√	√	√	√	√
关系型数据库	达梦数据库 DM 神通（ST）	×	×	×	×	×	×	×
Hadoop	MRS Hive	√	×	√	√	√	√	×
	MRS Hudi	√	×	√	√	×	√	×
	MRS HBase	√	√	√	√	×	√	√
	HDFS	√	√	√	×	×	×	×
对象存储	OBS	√	×	×	×	×	×	×
数据仓库	DLI	√	√	×	√	√	×	×
	RedShift	×	×	×	×	×	×	×
	YASHAN	×	×	×	×	×	×	×
	Doris	√	√	√	√	√	√	√
	MRS ClickHouse	×	√	√	√	√	√	√
非关系型数据库	MongoDB	√	√	√	√	√	√	√
消息系统	DMS Kafka	√	√	√	√	√	√	√
	MRS Kafka	×	×	×	×	×	×	×
	Apache Kafka	×	×	×	×	×	×	×
	LTS	√	-	-	-	-	-	-
	RocketMQ	×	×	×	√	√	×	√
	DIS	×	×	×	×	×	×	×
	LogHub（SLS）	×	×	×	×	×	×	×
搜索	Elasticsearch	×	√	√	×	√	√	√
文件	FTP	√	√	√	×	×	×	×
文件	SFTP	√	√	√	×	×	×	×
API	Rest-API	√	×	√	√	×	×	×
其他	GaussDB	×	×	×	×	×	×	×