# CDM作业配置管理
CDM作业管理界面的"配置管理"页签，主要操作如下：
- [最大抽取并发数]
- [定时备份/恢复]
- [作业参数的环境变量]
- [集群过载保护]
 #### 最大抽取并发数
最大抽取并发数即集群最大抽取并发数。
![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png)
此处的"最大抽取并发数"参数与集群配置处的"最大抽取并发数"参数同步，在任意一处修改即可生效。
CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下：
1. 数据迁移作业提交运行后，CDM会根据作业配置中的"抽取并发数"参数，将每个作业拆分为多个Task，即作业分片。
   ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png)
   不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业"抽取并发数"参数分片的情况。
   
2. CDM依次将Task提交给运行池运行。根据集群配置管理中的"最大抽取并发数"参数，超出规格的Task排队等待运行。
 
因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度，您可参考下文有效配置抽取并发数。
1. 集群最大抽取并发数的上限建议为vCPU核数\*2，如[表1]所示。
    表1集群最大抽取并发数配置建议 
   | 规格名称        | vCPUs/内存  | 集群并发数上限参考 |
   |:---|:---|:---|
   | cdm.large   | 8核 16GB   | 16        |
   | cdm.xlarge  | 16核 32GB  | 32        |
   | cdm.4xlarge | 64核 128GB | 128       |
      
   
   
2. 作业抽取并发数的配置原则如下：
   1. 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。
   
   2. 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。
   
   3. 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。
   
   4. 源端为Hive数据源且使用JDBC方式读取数据时，CDM不支持多并发，此时应配置为单进程抽取数据。
   
   5. 目的端为DLI数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。
   
   
   
   
 
 #### 定时备份/恢复
该功能依赖于OBS服务。当前定时备份内容不会自动老化删除，您需要定期手动清理备份文件。
- 前提条件 已创建OBS连接，详情请参见[OBS连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0045.html#dataartsstudio_01_0045)。
  
- 定时备份 在CDM作业管理界面，单击"配置管理"页签，配置定时备份的参数。
  表2定时备份参数 
  | 参数        | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | 配置样例     |
  |:---|:---|:---|
  | 定时备份      | 自动备份功能的开关，该功能只备份作业，不会备份连接。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              | 开        |
  | 备份策略      | - 所有作业：不管作业处于什么状态，CDM会备份所有表/文件迁移作业、整库迁移的作业。不备份历史作业。  - 分组作业：选择备份某一个或多个分组下的作业。                                                                                                                                                                     | 所有作业     |
  | 备份周期      | 选择备份周期： - 日：每天零点执行一次。  - 周：每周一零点执行一次。  - 月：每月1号零点执行一次。   | 日        |
  | 备份写入OBS连接 | CDM通过该连接，将作业备份到OBS，需要用户提前在"连接管理"界面创建好OBS连接。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             | obs_link |
  | OBS桶      | 存储备份文件的OBS桶。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            | cdm      |
  | 备份数据目录    | 存储备份文件的目录。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              | /cdm-bk/ |
     
  
- 恢复作业 如果之前执行过自动备份，"配置管理"页签下会显示备份列表：显示备份文件所在的OBS桶、路径、备份时间。
  您可以单击备份列表操作列的"恢复备份"来恢复CDM作业。
  
 
 #### 作业参数的环境变量
CDM在创建迁移作业时，可以手动输入的参数（例如OBS桶名、文件路径等）、参数中的某个字段、或者字段中的某个字符，都支持配置为一个全局变量，方便您批量更改作业中的参数值，以及作业导出/导入后进行批量替换。
这里以批量替换作业中OBS桶名为例进行介绍。
1. 在CDM作业管理界面，单击"配置管理"页签，配置环境变量。
   ```
   bucket_1=A
   bucket_2=B
   ```
   这里以变量"bucket_1"表示桶A，变量"bucket_2"表示桶B。
   
2. 在创建CDM迁移作业的界面，迁移桶A的数据到桶B。 源端桶名配置为**${bucket_1}** ，目的端桶名配置为**${bucket_2}**。
   图1桶名配置为环境变量   
   ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001174041728.png "点击放大") 
3. 如果下次要迁移桶C数据到桶D，则无需更改作业参数，只需要在"配置管理"界面将环境变量改为如下即可：
   ```
   bucket_1=C
   bucket_2=D
   ```
   
 
 #### 集群过载保护
开启集群过载保护后，在作业数量超出作业配额时，将禁止作业新建和导入，以降低集群过载风险。并发创建作业时，实际数量可能略超配额，属预期行为，对集群稳定性影响可忽略。作业配额数与集群规格有关，具体参见[表3 作业配额数与集群规格的关系]：
 表3作业配额数与集群规格的关系 
| 核数/内存     | 表/文件迁移 | 整库迁移 |
|:---|:---|:---|
| 8核/16GB   | 500    | 50   |
| 16核/32GB  | 1000   | 100  |
| 64核/128GB | 4000   | 400  |