更新时间:2024-04-03 GMT+08:00

参考:作业分片维度

CDM在进行作业分片时,根据源端数据源的差异,分片维度有所不同。详情如表1所示。

表1 不同源端数据源的作业分片维度

数据源分类

源端数据源

作业分片原理

数据仓库

数据仓库服务(DWS)

  • 支持按表字段分片。
  • 不支持按表分区分片。

数据湖探索(DLI)

  • 支持分区表的分区信息分片。
  • 不支持非分区表分片。

Hadoop

MRS HDFS

支持按文件分片。

MRS HBase

支持按HBase的Region分片。

MRS Hive

  • HDFS读取方式时,支持按Hive文件分片。
  • JDBC读取方式时,不支持分片。

FusionInsight HDFS

支持按文件分片。

FusionInsight HBase

支持按HBase的Region分片。

FusionInsight Hive

  • HDFS读取方式时,支持按Hive文件分片。
  • JDBC读取方式时,不支持分片。

Apache HDFS

支持按文件分片。

Apache HBase

支持按HBase的Region分片。

Apache Hive

  • HDFS读取方式时,支持按Hive文件分片。
  • JDBC读取方式时,不支持分片。

对象存储

对象存储服务(OBS)

支持按文件分片。

文件系统

FTP

支持按文件分片。

SFTP

支持按文件分片。

HTTP

支持按文件分片。

关系型数据库

云数据库 MySQL

  • 支持按表字段分片。
  • 仅当配置“按表分区抽取”时,按表分区分片。

云数据库 PostgreSQL

  • 支持按表字段分片。
  • 仅当配置“按表分区抽取”时,按表分区分片。

云数据库 SQL Server

  • 支持按表字段分片。
  • 仅当配置“按表分区抽取”时,按表分区分片。

MySQL

  • 支持按表字段分片。
  • 仅当配置“按表分区抽取”时,按表分区分片。

PostgreSQL

  • 支持按表字段分片。
  • 仅当配置“按表分区抽取”时,按表分区分片。

Microsoft SQL Server

  • 支持按表字段分片。
  • 不支持按表分区分片。

Oracle

  • 支持按表字段分片。
  • 仅当配置“按表分区抽取”时,按表分区分片。

SAP HANA

  • 支持按表字段分片。
  • 不支持按表分区分片。

分库

每个后端连接一个子作业,子作业支持按主键分片。

NoSQL

分布式缓存服务(DCS)

不支持分片。

Redis

不支持分片。

文档数据库服务(DDS)

不支持分片。

MongoDB

不支持分片。

Cassandra

支持按Cassandra的token range分片。

消息系统

数据接入服务(DIS)

支持按topic分片。

Apache Kafka

支持按topic分片。

DMS Kafka

支持按topic分片。

MRS Kafka

支持按topic分片。

搜索

Elasticsearch

不支持分片。

云搜索服务(CSS)

不支持分片。