更新时间:2022-08-17 GMT+08:00

CDM迁移作业的抽取并发数应该如何设置?

CDM迁移作业的抽取并发数,与集群规格和表大小有关。并发抽取数取值范围为1-300,若配置过大,则以队列的形式进行排队。

建议每1CUs(1CUs=1核4G)配置为4,如表1所示,您也可以根据实际情况进行调整。另外,每行数据大小为1MB以下的可以多并发抽取,超过1MB的建议单线程抽取数据。
  • 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。
  • 单作业的抽取并发数,受到作业“配置管理”中所配置的“最大抽取并发数”影响。“最大抽取并发数”配置的是抽取并发总数。
表1 抽取并发数参考配置

CDM集群规格

vCPUs/内存

抽取并发数参考配置

cdm.large

8核 16GB

16

cdm.xlarge

16核 32GB

32

cdm.4xlarge

64核 128GB

128