文档首页> 数据治理中心 DataArts Studio> 常见问题> 数据集成> CDM不同集群规格对应并发的作业数是多少?
更新时间:2023-03-01 GMT+08:00
分享

CDM不同集群规格对应并发的作业数是多少?

CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下:
  1. 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。

    不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。

  2. CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。

如何调整抽取并发数

  1. 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限建议配置为vCPU核数*2,如表1所示。
    表1 集群最大抽取并发数配置建议

    规格名称

    vCPUs/内存

    集群并发数上限参考

    cdm.large

    8核 16GB

    16

    cdm.xlarge

    16核 32GB

    32

    cdm.4xlarge

    64核 128GB

    128

    图1 集群最大抽取并发数配置
  2. 作业抽取并发数的配置原则如下:
    1. 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。
    2. 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。
    3. 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。
    4. 目的端为DLI数据源时,抽取并发数建议配置为1,否则可能会导致写入失败。
    图2 作业抽取并发数配置
分享:

数据集成 所有常见问题

more