更新时间:2022-08-17 GMT+08:00

作业配置管理

CDM作业管理界面的“配置管理”页签,主要操作如下:

CDM作业最大抽取并发数

最大抽取并发数取值范围为1-300,用于限制作业运行的总抽取并发数。如果当前所有作业总并发数超过限制,超过部分将排队等待。请您参考各单作业抽取并发数估算最大总抽取并发数。

单作业的抽取并发量配置原则如下:

CDM迁移作业的抽取并发数,与集群规格和表大小有关。并发抽取数取值范围为1-300,若配置过大,则以队列的形式进行排队。

建议每1CUs(1CUs=1核4G)配置为4,如表1所示,您也可以根据实际情况进行调整。另外,每行数据大小为1MB以下的可以多并发抽取,超过1MB的建议单线程抽取数据。
  • 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。
  • 单作业的抽取并发数,受到作业“配置管理”中所配置的“最大抽取并发数”影响。“最大抽取并发数”配置的是抽取并发总数。
表1 抽取并发数参考配置

CDM集群规格

vCPUs/内存

抽取并发数参考配置

cdm.large

8核 16GB

16

cdm.xlarge

16核 32GB

32

cdm.4xlarge

64核 128GB

128

CDM作业定时备份/恢复

该功能依赖于OBS服务。

  • 前提条件

    已创建配置OBS连接

  • 定时备份

    在CDM作业管理界面,单击“配置管理”页签,配置定时备份的参数。

    表2 定时备份参数

    参数

    说明

    配置样例

    定时备份

    自动备份功能的开关,该功能只备份作业,不会备份连接。

    备份策略

    • 所有作业:不管作业处于什么状态,CDM会备份所有表/文件迁移作业、整库迁移的作业。不备份历史作业。
    • 分组作业:选择备份某一个或多个分组下的作业。

    所有作业

    备份周期

    选择备份周期:

    • 日:每天零点执行一次。
    • 周:每周一零点执行一次。
    • 月:每月1号零点执行一次。

    备份写入OBS连接

    CDM通过该连接,将作业备份到OBS,需要用户提前在“连接管理”界面创建好OBS连接。

    obslink

    OBS桶

    存储备份文件的OBS桶。

    cdm

    备份数据目录

    存储备份文件的目录。

    /cdm-bk/

  • 恢复作业

    如果之前执行过自动备份,“配置管理”页签下会显示备份列表:显示备份文件所在的OBS桶、路径、备份时间。

    您可以单击备份列表操作列的“恢复备份”来恢复CDM作业。

CDM作业参数的环境变量

CDM在创建迁移作业时,可以手动输入的参数(例如OBS桶名、文件路径等)、参数中的某个字段、或者字段中的某个字符,都支持配置为一个全局变量,方便您批量更改作业中的参数值,以及作业导出/导入后进行批量替换。

这里以批量替换作业中OBS桶名为例进行介绍。

  1. 在CDM作业管理界面,单击“配置管理”页签,配置环境变量。
    bucket_1=A
    bucket_2=B

    这里以变量“bucket_1”表示桶A,变量“bucket_2”表示桶B。

  2. 在创建CDM迁移作业的界面,迁移桶A的数据到桶B。

    源端桶名配置为${bucket_1},目的端桶名配置为${bucket_2}

    图1 桶名配置为环境变量
  3. 如果下次要迁移桶C数据到桶D,则无需更改作业参数,只需要在“配置管理”界面将环境变量改为如下即可:
    bucket_1=C
    bucket_2=D