源端为MySQL，目的端为DWS

整库场景

1. 源端配置。
   1. 选择同步对象。
      • 表级同步：支持选择Mysql实例下多个库中的多张表进行同步。
      • 库级同步：支持选择Mysql实例下的多个库，对库中的所有表进行同步。
   2. 添加数据源，选择需要迁移的MySQL表。
      图1 选择库表
      

      库与表均支持自定义选择，即可选择一库一表，也可选择多库多表。

2. 目标端配置。
   图2 配置目标端参数
   
   • 源库表和目标匹配策略：
     • 库匹配策略：配置目标数据库的匹配策略，使数据按照规划迁移至目标库。
       用户需要提前创建对应数据库，否则可能导致后续自动建表失败。

       • 与来源库同名：会迁移至目的端对应与来源库同名的数据库中。
       • 自定义：支持用户指定目的端库名，也支持通过#{source_db_name}给源数据库名添加自定义字段变成目的端DWS表的库名。
     • 表匹配策略：配置目标数据表的匹配策略，使数据按照规划迁移至目标表。同步对象为库级同步时，无此配置项。

       用户不需要提前创建对应数据表，后续作业时自动建表。

       • 与来源表同名：会迁移至目的端对应与来源表同名的表中。
       • 自定义：支持用户指定目的端表名，也支持通过内置参数#{source_table_name}给源表名添加前后缀，变成目的端Hudi表的表名。
     • 写入模式：选择数据写入模式。

       UPSERT为批量更新入库模式，COPY为DWS专有的高性能批量入库模式。

     • 批写最大数据量：根据表数据大小和作业内存使用，适当调整，数据范围1-10000000。
     • 定时批写时间间隔：数据定时入库的间隔时间，时间1-1000， 单位为秒。
     • 高级配置：通过设置以下参数配置数据写入的高级属性。
       • sink.buffer-flush.max-size：根据作业配置内存和数据大小设置批写最大内存，单位:Mb。
       • sink.case-sensitive：是否对字段大小写字母敏感，可选：true/false，当写入模式为COPY MODE，主键名称含大写字母时，需要设置为true。
   • 源表与目标表映射：同步对象为库级同步时，无此配置项。
     图3 配置源表与目标表映射
     
     • 附加字段编辑：单击操作列“附加字段编辑”可为迁移后的DWS表中增加自定义字段，附加字段会成为一个新的字段加入到DWS表的建表中。

       表1 附加字段值支持情况

       类型	示例
       常量	-
       内置变量	源端host ip地址：source.host 源端schema名称：mgr.source.schema 源端table名称：mgr.source.table 目的端schema名称：mgr.target.schema 目的端table名称：mgr.target.table
       字段变量	-
       udf方法	substring(#col, pos[, len])： 截取源端col列的子串, 范围在[pos, pos+len)。 date_format(#col, time_format[, src_tz, dst_tz])： 将源端col列按time_format格式化, 可选转换时区。 now([tz])： 获取指定时区的当前时间。 if(cond_exp, str1, str2)： 满足条件表达式cond_exp时返回str1, 否则返回str2。 concat(#col[, #str, ...])： 拼接多个参数, 可为源端列或字符串。 from_unixtime(#col[, time_format])： 将unix时间戳按time_format格式化。 unix_timestamp(#col[, precision, time_format])： 将时间转成unix时间戳, 可显式定义时间格式及转换后精度。

       对于新建的表，用户可以在已有的源表字段基础上添加附加字段，可以自定义字段名（如custom_defined_col）、选择字段类型、填写字段值。

       用户可同时添加多个附加字段。

     • 自动建表：单击“自动建表”为列表中的表按照已配置规则自动建表。成功后表建立方式会显示为使用已有表。

分库分表场景

对于不同库上表可以聚合为一个表，同步时会被统一写入一个目标表中，匹配的分库分表需要保证结构的一致性。

1. 源端配置。
   图4 添加逻辑表
   

   逻辑表名：即最终写入到DWS的表名。

   源库过滤条件：支持填入正则表达式，在所有Mysql实例中通过该正则表达式过滤出要写入目标端DWS汇聚表的所有分库。

   源表过滤条件：支持填入正则表达式，在过滤出的源端分库中再次过滤出要写入目标端DWS汇聚表的所有分表。

   已添加的逻辑表支持预览，单击操作列的预览即可。

   预览逻辑表，源表数量越多，等待时间可能越长，请耐心等待。

   图5 逻辑表预览
   
2. 目标端配置。
   图6 配置目标端参数
   
   • 源库表和目标匹配策略：
     • 目标端库名：自定义目标端库名。
     • 表匹配策略：默认为与源端逻辑表同名，不可更改。
   • 写入模式：选择数据写入模式。

     UPSERT为批量更新入库模式，COPY为DWS专有的高性能批量入库模式。

   • 批写最大数据量：根据表数据大小和作业内存使用，适当调整，数据范围1-10000000。
   • 定时批写时间间隔：数据定时入库的间隔时间，时间1-1000， 单位为秒。
   • 高级配置：通过设置以下参数配置数据写入的高级属性。
     • sink.buffer-flush.max-size：根据作业配置内存和数据大小设置批写最大内存，单位:Mb。
     • sink.case-sensitive: 是否对字段大小写字母敏感，可选：true/false，当写入模式为COPY MODE，主键名称含大写字母时，需要设置为true。
   • 源表与目标表映射：
     图7 配置源表与目标表映射
     
     • 附加字段编辑：单击操作列“附加字段编辑”可为迁移后的DWS表中增加自定义字段，附加字段会成为一个新的字段加入到DWS表的建表中。

       表2 附加字段值支持情况

       类型	示例
       常量	-
       内置变量	源端host ip地址：source.host 源端schema名称：mgr.source.schema 源端table名称：mgr.source.table 目的端schema名称：mgr.target.schema 目的端table名称：mgr.target.table
       字段变量	-
       udf方法	substring(#col, pos[, len])： 截取源端col列的子串, 范围在[pos, pos+len)。 date_format(#col, time_format[, src_tz, dst_tz])： 将源端col列按time_format格式化, 可选转换时区。 now([tz])： 获取指定时区的当前时间。 if(cond_exp, str1, str2)： 满足条件表达式cond_exp时返回str1, 否则返回str2。 concat(#col[, #str, ...])： 拼接多个参数, 可为源端列或字符串。 from_unixtime(#col[, time_format])： 将unix时间戳按time_format格式化。 unix_timestamp(#col[, precision, time_format])： 将时间转成unix时间戳, 可显式定义时间格式及转换后精度。

       对于新建的表，用户可以在已有的源表字段基础上添加附加字段，可以自定义字段名（如custom_defined_col）、选择字段类型、填写字段值。

       用户可同时添加多个附加字段。

     • 自动建表：单击“自动建表”为列表中的表按照已配置规则自动建表。成功后表建立方式会显示为使用已有表。