文档首页/ 数据治理中心 DataArts Studio/ 用户指南/ 数据集成（离线作业）/ 支持的数据源/ 各数据源的支持情况
更新时间：2025-10-21 GMT+08:00
查看PDF
分享

各数据源的支持情况

数据集成离线同步支持单表同步至目标单表、分库分表同步至目标单表及整库同步至目标单表三种同步方式，不同的同步方式支持的数据源有所不同：

因各版本集群支持的数据源有所差异，其他版本支持的数据源仅做参考。

表/文件同步支持的数据源类型

表/文件同步可以实现表或文件级别的数据同步。

支持单表同步的数据源如表1 离线作业不同数据源读写能力说明所示：
表1 离线作业不同数据源读写能力说明

数据源

单表读

单表写

说明

DWS

支持

支持

不支持DWS物理机纳管模式。

DLI

支持

支持

不支持DWS物理机纳管模式。

MRS Hive

支持

支持
暂不支持2.x版本，建议使用的版本：
  • 1.2.X
  • 3.1.X

MRS Hudi

支持

支持
暂不支持2.x版本，建议使用的版本：
  • 1.2.X
  • 3.1.X

Doris

支持

支持

-

MRS ClickHouse

支持

支持

建议使用的版本：21.3.4.X。

MRS HBase

支持

支持
MRS HBase建议使用的版本：
  • 2.1.X
  • 1.3.X

OBS

支持

支持

-

FTP

支持

不支持

-

SFTP

支持

不支持

-

RDS（MySQL）

支持

支持

创建数据连接时也支持用户使用自建的数据库，如MySQL在选择界面对应的RDS（MySQL）即可。

RDS（PostgreSQL）

支持

支持

创建数据连接时也支持用户使用自建的数据库，如PostgreSQL在选择界面对应的RDS（PostgreSQL）即可。

RDS（SQL Server）

支持

支持

创建数据连接时也支持用户使用自建的数据库，如SQL Server在选择界面对应的RDS（SQL Server）即可。

Oracle

支持

支持

-

RDS（SAP HANA）

支持

支持

仅支持2.00.050.00.1592305219版本。

GBASE8A

支持

支持

-

RDS（达梦数据库DM）

不支持

不支持

创建数据连接时也支持用户使用自建的数据库，如达梦数据库DM在选择界面对应的RDS（达梦数据库DM）即可。

MongoDB

支持

支持
  • MongoDB建议使用的版本：4.2。
  • 暂不支持开启SSL的MongoDB数据源。

Redis

支持

支持

-

Apache HDFS

支持

支持
  • Apache HDFS目前仅支持作为源端数据源。
  • Apache HDFS建议使用的版本：
    • 2.8.X
    • 3.1.X

DMS Kafka

支持

支持

-

LTS

支持

不支持

-

Apache RocketMq

不支持

支持

-

Elasticsearch

支持

支持

-

Rest Client

支持

不支持

-

OpenGauss（GaussDB）

支持

支持

-

分库分表同步支持的数据源类型

分库分表同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于多库多表同步场景。

支持分库分表同步的数据源如下所示：

源端为RDS（MySQL）时支持分库分表同步。

整库同步支持的数据源类型

整库同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线同步场景，不适用于在线实时同步。

支持整库同步的数据源（已支持的数据源即可作为源端，又可作为目的端组成不同链路）如下所示：
  • 读取能力：DWS、RDS（MySQL）、RDS（PostgreSQL）
  • 写入能力：DWS、DLI

各数据源支持的能力说明

表2 不同数据源支持的能力说明

数据源

读取能力

字段映射

写入能力

任务配置

类型

数据源

分片

自定义字段

数据源调优参数

字段批量映射

字段映射样例

数据源调优参数

脏数据

关系型数据库

MySQL

√

√

√

√

√

√

√

PostgreSQL

√

√

√

√

√

√

√

SQL Server

√

√

√

√

√

√

√

Oracle

√

√

√

√

√

√

√

DWS

√

√

√

√

√

√

√

SAP HANA

√

√

√

√

√

√

√

Gbase8A

√

√

√

√

√

√

√

达梦数据库 DM

×

×

×

×

×

×

×

神通（ST）

×

×

×

×

×

×

×

Hadoop

MRS Hive

√

×

√

√

√

√

×

MRS Hudi

√

×

√

√

×

√

×

MRS HBase

√

√

√

√

×

√

√

HDFS

√

√

√

×

×

×

×

对象存储

OBS

√

×

×

×

×

×

×

数据仓库

DLI

√

√

×

√

√

×

×

RedShift

×

×

×

×

×

×

×

YASHAN

×

×

×

×

×

×

×

Doris

√

√

√

√

√

√

√

MRS ClickHouse

×

√

√

√

√

√

√

非关系型数据库

MongoDB

√

√

√

√

√

√

√

消息系统

DMS Kafka

√

√

√

√

√

√

√

MRS Kafka

×

×

×

×

×

×

×

Apache Kafka

×

×

×

×

×

×

×

LTS

√

-

-

-

-

-

-

RocketMQ

×

×

×

√

√

×

√

DIS

×

×

×

×

×

×

×

LogHub（SLS）

×

×

×

×

×

×

×

搜索

Elasticsearch

×

√

√

×

√

√

√

文件

FTP

√

√

√

×

×

×

×

SFTP

√

√

√

×

×

×

×

API

Rest-API

√

×

√

√

×

×

×

其他

GaussDB

×

×

×

×

×

×

×
父主题： 支持的数据源

相关文档