PostgreSQL同步到DWS

支持的源端和目的端数据库版本

数据库账号权限要求

在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。

支持的同步对象范围

在使用Migration进行同步时，不同类型的链路，支持的同步对象范围不同，详细情况可参考下表。

注意事项

除了数据源版本、连接账号权限及同步对象范围外，您还需要注意的事项请参见下表。

操作步骤

本小节以PostgreSQL到DWS的实时同步为示例，介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览， 确认已做好所有准备工作。

1. 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
2. 选择数据连接类型：源端选PostgreSQL，目的端选DWS。
   图1 选择数据连接类型
   

3. 选择集成作业类型：同步类型默认为实时，同步场景包含整库和分库分表场景。
   图2 选择集成作业类型
   
   

   同步场景相关介绍请参见同步场景。

4. 配置网络资源：选择已创建的PostgreSQL、DWS数据连接和已配置好网络连接的资源组。
   图3 选择数据连接及资源组
   

5. 检测网络连通性：数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性，可通过以下方式进行数据源和资源组之间的连通性测试。
   • 单击展开“源端配置”触发连通性测试，会对整个迁移任务的连通性做校验。
   • 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。
     

     网络连通性检测异常可先参考数据源和资源组网络不通如何排查？章节进行排查。

6. 配置源端参数。

   各同步场景下选择需要同步库表的方式请参考下表。

   表5 选择需要同步的库表

   同步场景	配置方式
   整库	选择需要迁移的PostgreSQL库表。 图4 选择库表 库与表均支持自定义选择，即可选择一库一表，也可选择多库多表。
   分库分表	添加逻辑表。 逻辑表名：即最终写入到DWS的表名。 源库过滤条件：支持填入正则表达式，在所有PostgreSQL实例中通过该正则表达式过滤出要写入目标端DWS汇聚表的所有分库。 源表过滤条件：支持填入正则表达式，在过滤出的源端分库中再次过滤出要写入目标端DWS汇聚表的所有分表。 图5 添加逻辑表 已添加的逻辑表支持预览表结构及来源库表，单击“操作”列的预览即可。预览逻辑表时，源表数量越多，等待时间可能越长，请耐心等待。 图6 逻辑表预览

7. 配置目的端参数。
   • 源库表和目标匹配策略。

     各同步场景下源端库表和目标端库表的匹配策略请参考下表。

     表6 源库表和目标匹配策略

     同步场景	配置方式
     整库	Schema匹配策略。 与来源库同名：数据将同步至与来源PostgreSQL库名相同的DWS Schema中。 自定义：数据将同步至自行指定的DWS Schema中。 表匹配策略。 与来源表同名：数据将同步至与来源PostgreSQL表名相同的DWS表中。 自定义：数据将同步至自行指定的DWS表中。 图7 整库场景下源库表和目标匹配策略 说明： 自定义匹配策略时，支持用内置变量#{source_db_name}和#{source_table_name}标志来源MySQL的库名和表名，其中表匹配策略必须包含#{source_table_name}。
     分库分表	目标端库名：数据将同步至指定的DWS Schema中。 表匹配策略：默认与源端配置中填写的逻辑表同名。 图8 分库分表场景下源库表和目标匹配策略

   • DWS参数配置。

     其余DWS目的端参数说明请参考下表。

     图9 DWS配置项
     

     表7 DWS配置项

     配置项	默认值	单位	配置说明
     写入模式	UPSERT	-	UPSERT模式：批量更新入库模式 COPY模式：DWS专有的高性能批量入库模式，对性能有较高要求的强烈建议使用COPY模式。
     批写最大数据量	50000	条	单批次写入DWS数据的条数，可根据表数据大小和作业内存使用适当调整。
     定时批写时间间隔	3	秒	支持配置每批次数据写入DWS的时间间隔。
     高级配置	-	-	支持通过参数配置部分高级功能，参数详情可参考DWS高级配置一览表。

     表8 DWS高级配置一览表

     参数名	参数类型	默认值	单位	参数说明
     sink.buffer-flush.max-size	int	512	MB	写入DWS时每批数据的最大字节数，可根据作业配置内存和数据大小适当调整。
     sink.keyby.enable	boolean	true	-	数据分流开关，在多并发场景下开启数据分流可将数据按规则分配给不同的工作进程写入目的端，可提高写入性能。
     sink.keyby.mode	string	table	-	数据分流模式，可选填写： pk：按数据主键值进行分流 table：按表名进行分流 说明： 多并发场景下，若开启DDL功能，只能按表名分流，否则可能导致数据不一致。 确保不会有DDL时，可以选择按主键分流，多并发场景下可提高写入性能。
     sink.field.name.case-sensitive	boolean	true	-	同步数据大小写敏感开关，开启后在同步数据时对库名、表名、字段名大小写均敏感。
     sink.verify.column-number	boolean	false	-	校验数据列数的开关，MySQL > DWS默认以同名映射方式同步数据，不检验是否所有列均同步。 开启本开关后，若源端与目的端列数不同将认为是数据不一致的场景，导致作业异常。
     sink.server.timezone	string	本地时区	-	连接目的端数据库时指定的session时区，支持时区标准写法，例如utc+8等。

8. 刷新源表和目标表映射，检查映射关系是否正确，同时可根据需求修改表属性、添加附加字段，并通过“自动建表”能力在目的端DWS数据库中建出相应的表。
   图10 源表与目标表映射
   
   • 附加字段编辑：单击操作列“附加字段编辑”可为迁移后的DWS表中增加自定义字段，同时附加字段也会额外加入到DWS表的建表中。用户可以在已有的源表字段基础上添加多个附加字段，并自定义字段名、选择字段类型、填写字段值。
     • 字段名称：目的端DWS表新增字段的名称。
     • 字段类型：目的端DWS表新增字段的类型。
     • （可选）字段类型长度：目的端DWS表新增字段类型的长度。
     • 字段值：目的端DWS表新增字段的取值来源。

       表9 附加字段取值方式

       类型	示例
       常量	任意字符
       内置变量	源端host ip地址：source.host 源端schema名称：source.schema 源端table名称：source.table 目的端schema名称：target.schema 目的端table名称：target.table
       字段变量	源表中的任一字段
       udf方法	substring(#col, pos[, len])： 截取源端col列的子串, 范围在[pos, pos+len)。 date_format(#col, time_format[, src_tz, dst_tz])： 将源端col列按time_format格式化, 可选转换时区。 now([tz])： 获取指定时区的当前时间。 if(cond_exp, str1, str2)： 满足条件表达式cond_exp时返回str1, 否则返回str2。 concat(#col[, #str, ...])： 拼接多个参数, 可为源端列或字符串。 from_unixtime(#col[, time_format])： 将unix时间戳按time_format格式化。 unix_timestamp(#col[, precision, time_format])： 将时间转成unix时间戳, 可显式定义时间格式及转换后精度。

   • 自动建表：单击“自动建表”可按照已配置映射规则在目的端数据库自动建表，成功后表建立方式会显示为使用已有表。
     图11 自动建表
     
     

     • Migration仅支持自动建表，不支持自动建库和模式，需用户自行在目的端手动建出库和模式后再使用本功能建表。
     • 自动建表时对应的字段类型映射关系请参见字段映射关系章节。
   • 配置任务属性。

     表10 任务配置参数说明

     参数	说明	默认值
     执行内存	作业执行分配内存，跟随处理器核数变化而自动变化。	8GB
     处理器核数	范围：2-32。 每增加1处理核数，则自动增加4G执行内存和1并发数。	2
     并发数	作业执行支持并发数。该参数无需配置，跟随处理器核数变化而自动变化。	1
     自动重试	作业失败时是否开启自动重试。	否
     最大重试次数	“自动重试”为是时显示该参数。	1
     重试间隔时间	“自动重试”为是时显示该参数。	120秒
     是否写入脏数据	选择是否记录脏数据，默认不记录脏数据，当脏数据过多时，会影响同步任务的整体同步速度。 链路是否支持写入脏数据，以实际界面为准。 否：默认为否，不记录脏数据。 表示不允许脏数据存在。如果同步过程中产生脏数据，任务将失败退出。 是：允许脏数据，即任务产生脏数据时不影响任务执行。 允许脏数据并设置其阈值时： 若产生的脏数据在阈值范围内，同步任务将忽略脏数据（即不会写入目标端），并正常执行。 若产生的脏数据超出阈值范围，同步任务将失败退出。 说明： 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据；单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。 因此只要是写入失败的数据均被归类于脏数据。 例如，源端是VARCHAR类型的数据写到INT类型的目标列中，则会因为转换不合理导致脏数据不会成功写入目的端。用户可以在同步任务配置时，配置同步过程中是否写入脏数据，配置脏数据条数（单个分片的最大错误记录数）保证任务运行，即当脏数据超过指定条数时，任务失败退出。	否
     脏数据策略	“是否写入脏数据”为是时显示该参数，当前支持以下策略： 不归档：不对脏数据进行存储，仅记录到任务日志中。 归档到OBS：将脏数据存储到OBS中，并打印到任务日志中。	不归档
     脏数据写入连接	“脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。	-
     脏数据目录	脏数据写入的OBS目录。	-
     脏数据阈值	是否写入脏数据为是时显示该参数。 用户根据实际设置脏数据阈值。 说明： 脏数据阈值仅针对每个并发生效。比如阈值为100，并发为3，则该作业可容忍的脏数据条数最多为300。 输入-1表示不限制脏数据条数	100
     添加自定义属性	支持通过自定义属性修改部分作业参数及开启部分高级功能，详情可参见任务性能调优章节。	-

9. 提交并运行任务。

   作业配置完毕后，单击作业开发页面左上角“提交”，完成作业提交。

   图12 提交作业
   

   提交成功后，单击作业开发页面左上角“启动”按钮，在弹出的启动配置对话框按照实际情况配置同步位点参数，单击“确定”启动作业。

   图13 启动配置
   

   表11 启动配置参数

   参数	说明
   同步模式	增量同步：从指定时间位点开始同步增量数据。 全量+增量：先同步全量数据，随后实时同步增量数据。
   时间	增量同步需要设置该参数，指示增量同步起始的时间位点。 说明： 配置的位点时间早于Binlog日志最早时间点时，默认会以日志最新时间点开始消费。

10. 监控作业。

    通过单击作业开发页面导航栏的“前往监控”按钮，可前往作业监控页面查看运行情况、监控日志等信息，并配置对应的告警规则，详情请参见实时集成任务运维。

    图14 前往监控
    

性能调优

若链路同步速度过慢，可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。