参考:作业分片维度
CDM在进行作业分片时,根据源端数据源的差异,分片维度有所不同。详情如表1所示。
| 数据源分类 | 源端数据源 | 作业分片原理 |
|---|---|---|
| 数据仓库 | 数据仓库服务(DWS) |
|
| 数据湖探索(DLI) |
| |
| Hadoop | MRS HDFS | 支持按文件分片。 |
| MRS HBase | 支持按HBase的Region分片。 | |
| MRS Hive |
| |
| FusionInsight HDFS | 支持按文件分片。 | |
| FusionInsight HBase | 支持按HBase的Region分片。 | |
| FusionInsight Hive |
| |
| Apache HDFS | 支持按文件分片。 | |
| Apache HBase | 支持按HBase的Region分片。 | |
| Apache Hive |
| |
| 对象存储 | 对象存储服务(OBS) | 支持按文件分片。 |
| 文件系统 | FTP | 支持按文件分片。 |
| SFTP | 支持按文件分片。 | |
| HTTP | 支持按文件分片。 | |
| 关系型数据库 | 云数据库 MySQL |
|
| 云数据库 PostgreSQL |
| |
| 云数据库 SQL Server |
| |
| MySQL |
| |
| PostgreSQL |
| |
| Microsoft SQL Server |
| |
| Oracle |
| |
| SAP HANA |
| |
| 分库 | 每个后端连接一个子作业,子作业支持按主键分片。 | |
| NoSQL | 分布式缓存服务(DCS) | 不支持分片。 |
| Redis | 不支持分片。 | |
| 文档数据库服务(DDS) | 不支持分片。 | |
| MongoDB | 不支持分片。 | |
| Cassandra | 支持按Cassandra的token range分片。 | |
| 消息系统 | 数据接入服务(DIS) | 支持按topic分片。 |
| Apache Kafka | 支持按topic分片。 | |
| DMS Kafka | 支持按topic分片。 | |
| MRS Kafka | 支持按topic分片。 | |
| 搜索 | Elasticsearch | 不支持分片。 |
| 云搜索服务(CSS) | 不支持分片。 |