步骤3：创建并执行作业

更新时间：2023-07-14 GMT+08:00

查看PDF

操作场景

创建CDM迁移数据表的作业，执行从MySQL数据库迁移表到DWS的任务。

操作步骤

在集群管理界面，找到步骤1：创建集群章节创建的集群“cdm-aff1”。
单击该CDM集群后的“作业管理”，进入作业管理界面。
选择“表/文件迁移 > 新建作业”，配置作业基本信息。

图1 新建作业
- 作业名称：输入便于记忆、区分的作业名称，例如：“mysql2dws”。
- 源端作业配置
  - 源连接名称：选择步骤2：创建连接章节中创建的MySQL连接“mysqllink”。
  - 使用SQL语句：选择“否”。
  - 模式或表空间：选择从MySQL的哪个数据库导出表。
  - 表名：选择导出哪张表。
  - 其他可选参数保持默认即可，详细说明可参见配置MySQL源端参数。
- 目的端作业配置
  - 目的连接名称：选择步骤2：创建连接章节中创建的DWS连接“dwslink”。
  - 模式或表空间：选择导入到DWS的哪个模式。
  - 自动创表：这里选择“不存在时创建”，当下面“表名”参数中配置的表不存在时，CDM会自动在DWS数据库中创建该表。
  - 表名：选择导入到DWS数据库的哪张表。
  - 高级属性参数-“扩大字符字段长度”：这里选择“是”。由于MySQL和DWS存储中文时编码不一样，所需的长度也不一样，一个中文字符在UTF-8编码下可能要占3个字节。该参数选择为“是”后，在DWS中自动创表时，会将字符类型的字段长度设置为原表的3倍，避免出现DWS表的字符字段长度不够的报错。
  - 其他可选参数保持默认即可，详细说明可参见配置DWS目的端参数。
单击“下一步”进入字段映射界面，CDM会自动匹配源端和目的端的数据表字段，需用户检查字段映射关系是否正确。
- 如果字段映射关系不正确，用户单击字段所在行选中后，按住鼠标左键可拖拽字段来调整映射关系。
- 导入到DWS时需要手动选择DWS的分布列，建议按如下顺序选取：
  1. 有主键可以使用主键作为分布列。
  2. 多个数据段联合做主键的场景，建议设置所有主键作为分布列。
  3. 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。
- 如果需要转换源端字段内容，可在该步骤配置，详细请参见字段转换，这里选择不进行字段转换。
图2 字段映射
单击“下一步”配置任务参数，一般情况下全部保持默认即可。
该步骤用户可以配置如下可选功能：
- 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。
- 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。
- 是否定时执行：如果需要配置作业定时自动执行可开启。这里保持默认值“否”。
- 抽取并发数：设置同时执行的抽取任务数，适当的抽取并发数可以提升迁移效率，配置原则请参见性能调优。这里保持默认值“1”。
- 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。
图3 任务配置
单击“保存并运行”，CDM立即开始执行作业。

图4 作业执行