参考:作业分片维度
CDM在进行作业分片时,根据源端数据源的差异,分片维度有所不同。详情如表1所示。
数据源分类 | 源端数据源 | 作业分片原理 |
|---|---|---|
数据仓库 | 数据仓库服务(DWS) |
|
数据湖探索(DLI) |
| |
Hadoop | MRS HDFS | 支持按文件分片。 |
MRS HBase | 支持按HBase的Region分片。 | |
MRS Hive |
| |
FusionInsight HDFS | 支持按文件分片。 | |
FusionInsight HBase | 支持按HBase的Region分片。 | |
FusionInsight Hive |
| |
Apache HDFS | 支持按文件分片。 | |
Apache HBase | 支持按HBase的Region分片。 | |
Apache Hive |
| |
对象存储 | 对象存储服务(OBS) | 支持按文件分片。 |
文件系统 | FTP | 支持按文件分片。 |
SFTP | 支持按文件分片。 | |
HTTP | 支持按文件分片。 | |
关系型数据库 | 云数据库 MySQL |
|
云数据库 PostgreSQL |
| |
云数据库 SQL Server |
| |
MySQL |
| |
PostgreSQL |
| |
Microsoft SQL Server |
| |
Oracle |
| |
SAP HANA |
| |
分库 | 每个后端连接一个子作业,子作业支持按主键分片。 | |
NoSQL | 分布式缓存服务(DCS) | 不支持分片。 |
Redis | 不支持分片。 | |
文档数据库服务(DDS) | 不支持分片。 | |
MongoDB | 不支持分片。 | |
Cassandra | 支持按Cassandra的token range分片。 | |
消息系统 | 数据接入服务(DIS) | 支持按topic分片。 |
Apache Kafka | 支持按topic分片。 | |
DMS Kafka | 支持按topic分片。 | |
MRS Kafka | 支持按topic分片。 | |
搜索 | Elasticsearch | 不支持分片。 |
云搜索服务(CSS) | 不支持分片。 |

