参考：作业分片维度

更新时间：2024-03-29 GMT+08:00

CDM在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。

表1 不同源端数据源的作业分片维度
数据源分类	源端数据源	作业分片原理
数据仓库	数据仓库服务（DWS）	支持按表字段分片。不支持按表分区分片。
数据仓库	数据湖探索（DLI）	支持分区表的分区信息分片。不支持非分区表分片。
Hadoop	MRS HDFS	支持按文件分片。
	MRS HBase	支持按HBase的Region分片。
	MRS Hive	HDFS读取方式时，支持按Hive文件分片。 JDBC读取方式时，不支持分片。
	FusionInsight HDFS	支持按文件分片。
	FusionInsight HBase	支持按HBase的Region分片。
	FusionInsight Hive	HDFS读取方式时，支持按Hive文件分片。 JDBC读取方式时，不支持分片。
	Apache HDFS	支持按文件分片。
	Apache HBase	支持按HBase的Region分片。
	Apache Hive	HDFS读取方式时，支持按Hive文件分片。 JDBC读取方式时，不支持分片。
对象存储	对象存储服务（OBS）	支持按文件分片。
文件系统	FTP	支持按文件分片。
	SFTP	支持按文件分片。
	HTTP	支持按文件分片。
关系型数据库	云数据库 MySQL	支持按表字段分片。仅当配置“按表分区抽取”时，按表分区分片。
	云数据库 PostgreSQL	支持按表字段分片。仅当配置“按表分区抽取”时，按表分区分片。
	云数据库 SQL Server	支持按表字段分片。仅当配置“按表分区抽取”时，按表分区分片。
	MySQL	支持按表字段分片。仅当配置“按表分区抽取”时，按表分区分片。
	PostgreSQL	支持按表字段分片。仅当配置“按表分区抽取”时，按表分区分片。
	Microsoft SQL Server	支持按表字段分片。不支持按表分区分片。
	Oracle	支持按表字段分片。仅当配置“按表分区抽取”时，按表分区分片。
	SAP HANA	支持按表字段分片。不支持按表分区分片。
	分库	每个后端连接一个子作业，子作业支持按主键分片。
NoSQL	分布式缓存服务（DCS）	不支持分片。
	Redis	不支持分片。
	文档数据库服务（DDS）	不支持分片。
	MongoDB	不支持分片。
	Cassandra	支持按Cassandra的token range分片。
消息系统	数据接入服务（DIS）	支持按topic分片。
	Apache Kafka	支持按topic分片。
	DMS Kafka	支持按topic分片。
	MRS Kafka	支持按topic分片。
搜索	Elasticsearch	不支持分片。
搜索	云搜索服务（CSS）	不支持分片。

上一篇：性能调优

下一篇：参考：CDM性能实测数据

意见反馈

文档内容是否对您有帮助？

有帮助没帮助

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消

参考：作业分片维度

意见反馈

文档内容是否对您有帮助？

文档反馈