文档首页 > > 用户指南> 入门> 步骤3:创建并执行作业

步骤3:创建并执行作业

分享
更新时间: 2020/03/12 GMT+08:00

操作场景

创建CDM迁移数据表的作业,执行从本地MySQL数据库复制表到DWS的任务。

操作步骤

  1. 在集群管理界面,找到步骤1:创建集群章节创建的集群“cdm-aff1”
  2. 单击该CDM集群后的“作业管理”,进入作业管理界面。
  3. 选择表/文件迁移 > 新建作业,配置作业基本信息。

    图1 新建作业
    • 作业名称:输入便于记忆、区分的作业名称,例如:“mysql2dws”
    • 源端作业配置
      • 源连接名称:选择步骤2:创建连接章节中创建的MySQL连接“mysqllink”
      • 使用SQL语句:选择“否”
      • 模式或表空间:选择从MySQL的哪个数据库导出表。
      • 表名:选择导出哪张表。
      • 其它可选参数保持默认即可,详细说明可参见配置关系数据库源端参数
    • 目的端作业配置
      • 目的连接名称:选择步骤2:创建连接章节中创建的DWS连接“dwslink”
      • 模式或表空间:选择导入到DWS的哪个数据库。
      • 自动创表:这里选择“不存在时创建”,当下面“表名”参数中配置的表不存在时,CDM会自动在DWS数据库中创建该表。
      • 表名:选择导入到DWS数据库的哪张表。
      • 其他可选参数保持默认即可,详细说明可参见配置关系数据库目的端参数

  4. 单击“下一步”进入字段映射界面,CDM会自动匹配源端和目的端的数据表字段,需用户检查字段映射关系是否正确。

    • 如果字段映射关系不正确,用户单击字段所在行选中后,按住鼠标左键可拖拽字段来调整映射关系。
    • 导入到DWS时需要手动选择DWS的分布列,建议按如下顺序选取:
      1. 有主键可以使用主键作为分布列。
      2. 多个数据段联合做主键的场景,建议设置所有主键作为分布列。
      3. 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。
    • 如果需要转换源端字段内容,可在该步骤配置,具体操作请参见字段转换,这里选择不进行字段转换。
    图2 字段映射

  5. 单击“下一步”配置任务参数,一般情况下全部保持默认即可。

    该步骤用户可以配置如下可选功能:
    • 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”
    • 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。
    • 是否定时执行:如果需要配置作业定时自动执行,请参见配置定时任务。这里保持默认值“否”
    • 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”
    • 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。
    • 作业运行完是否删除:这里保持默认值“不删除”

  6. 单击“保存并运行”,CDM立即开始执行作业。

    如果运行作业失败,日志提示如下错误:SQL语句无法执行。ERROR: value too long for type character varying(7) Where: COPY dws_city, line 1, column name: "广州市"。

    原因:DWS表的字符字段长度不够。这是因为MySQL和华为云DWS存储中文时编码不一样,所需的长度也不一样,一个中文字符在UTF-8编码下可能要占3个字节。

    解决方法:在步骤 3新建作业时选择自动创表,高级属性参数“扩大字符字段长度”选择“是”,再重新执行作业。这样CDM在DWS中自动创表时,会将字符类型的字段长度设置为原表的3倍。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问