参考:作业分片维度
CDM在进行作业分片时,根据源端数据源的差异,分片维度有所不同。详情如表1所示。
数据源分类 |
源端数据源 |
作业分片原理 |
---|---|---|
数据仓库 |
数据仓库服务(DWS) |
|
数据湖探索(DLI) |
|
|
Hadoop |
MRS HDFS |
支持按文件分片。 |
MRS HBase |
支持按HBase的Region分片。 |
|
MRS Hive |
|
|
FusionInsight HDFS |
支持按文件分片。 |
|
FusionInsight HBase |
支持按HBase的Region分片。 |
|
FusionInsight Hive |
|
|
Apache HDFS |
支持按文件分片。 |
|
Apache HBase |
支持按HBase的Region分片。 |
|
Apache Hive |
|
|
对象存储 |
对象存储服务(OBS) |
支持按文件分片。 |
文件系统 |
FTP |
支持按文件分片。 |
SFTP |
支持按文件分片。 |
|
HTTP |
支持按文件分片。 |
|
关系型数据库 |
云数据库 MySQL |
|
云数据库 PostgreSQL |
|
|
云数据库 SQL Server |
|
|
MySQL |
|
|
PostgreSQL |
|
|
Microsoft SQL Server |
|
|
Oracle |
|
|
SAP HANA |
|
|
分库 |
每个后端连接一个子作业,子作业支持按主键分片。 |
|
NoSQL |
分布式缓存服务(DCS) |
不支持分片。 |
Redis |
不支持分片。 |
|
文档数据库服务(DDS) |
不支持分片。 |
|
MongoDB |
不支持分片。 |
|
Cassandra |
支持按Cassandra的token range分片。 |
|
消息系统 |
数据接入服务(DIS) |
支持按topic分片。 |
Apache Kafka |
支持按topic分片。 |
|
DMS Kafka |
支持按topic分片。 |
|
MRS Kafka |
支持按topic分片。 |
|
搜索 |
Elasticsearch |
不支持分片。 |
云搜索服务(CSS) |
不支持分片。 |