文档首页> 数据复制服务 DRS> 实时同步> 入云> 将PostgreSQL同步到GaussDB(DWS)
更新时间:2022-05-20 GMT+08:00
分享

将PostgreSQL同步到GaussDB(DWS)

支持的源和目标数据库

表1 支持的数据库

源数据库

目标数据库

  • 本地自建数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13版本)
  • ECS自建数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13版本)
  • 其他云上数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13版本)
  • RDS for PostgreSQL(9.5、9.6、10、11、12、13版本、增强版)
  • GaussDB(DWS)集群

支持的同步对象范围

在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表2DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查

表2 支持的同步对象

类型名称

使用须知

同步对象范围

  • 不支持实例级同步

    每次至多同步一个库(database),同步多个库需要使用多个DRS任务。

  • 支持的字段类型
    • 支持:tinyint、smallint、int、bigint、numeric、decimal、char、bpchar、varchar、text、date、time、timetz、timestamp、timestamptz、interval。
    • 不支持:xml、line类型同步。
  • 全量同步的范围
    • 支持:模式、表、索引、约束、序列、自定义类型的同步。

      表级同步时,仅支持表、序列的同步。

    • 不支持:系统模式(“pg_”开头的任何模式、“information_schema”、“sys”、“utl_raw”、“dbms_lob”、“dbms_output”和“dbms_random”)、系统表。
    说明:

    支持同步的对象有如下限制:

    • 对象名称:库名不可以包含+"%'\<>,模式名和表名不可以包含".'<>,列名不可以包含"和'。
    • 表:不同步临时表。表级同步时,表的约束、索引及规则会一起同步,表的触发器不会同步。
    • 模式:不同步public模式的权限。表级同步时,会同步目标库已存在模式的权限。
  • 增量同步的范围
    • 支持:部分DML(Data Manipulation Language):包括INSERT、UPDATE、DELETE。
    • 不支持:DDL(Data Define Language),无日志表(UNLOGGED TABLE)的DML,临时表的DML。

数据库账号权限要求

在使用DRS进行同步时,连接源库和目标库的数据库账号需要满足以下权限要求,才能启动实时同步任务。不同类型的同步任务,需要的账号权限也不同,详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查,并给出处理建议。

表3 数据库账号权限

类型名称

全量同步

全量+增量同步

源数据库连接账号

数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限(仅源库PostgresSQL10.0以下)。

数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限(仅源库PostgresSQL10.0以下),无主键表的UPDATE、DELETE和TRUNCATE权限,REPLICATION连接权限。

说明:
  • 无主键表的UPDATE、DELETE和TRUNCATE权限,仅用于对无主键表短暂加锁,以确保迁移后,目标库中无主键表数据与源库保持一致。
  • REPLICATION连接权限的添加方法:
    1. 在源数据库的“pg_hba.conf”配置文件的所有配置前增加一行配置“host replication <src_user_name> <drs_instance_ip>/32 md5”;
    2. 在源库使用SUPERUSER用户执行语句“select pg_reload_conf();”生效,或重启数据库实例生效。

目标数据库连接账号

  • 库级同步:需要具有CREATEDB权限。
  • 表级同步
    • 如果需要同步库,需要具有CREATEDB权限。
    • 如果需要同步模式,需要具有模式所在库的CONNECT权限、模式所在库上的CREATE权限。
    • 如果需要同步模式下的对象,需要具有模式所在库的CONNECT权限、对象所在模式的USAGE权限、对象所在模式上的CREATE权限。

使用建议

  • DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。
  • 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。
  • 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。
  • 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。
    • 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。
    • 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。
    • 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。
    • DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。
    • 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。
    • 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响
  • 数据对比

    建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。

使用须知

DRS全量+增量同步过程一般包含四个阶段:任务启动阶段、全量阶段、增量阶段、结束任务阶段(单全量任务则包含三个阶段)。为了确保同步各个阶段的平顺,在创建同步任务前,请务必阅读以下使用须知。

表4 使用须知

类型名称

使用和操作约定

任务启动前须知

  • 源数据库参数要求
    • 源数据库的分区表触发器不可以设置为disable。
    • 若要做增量同步:

      源数据库参数wal_level必须配置为logical。

      源数据库需提前安装test_decoding插件。

      源数据库中无主键表的replica identity属性必须为full。

      源数据库的max_replication_slots参数值必须大于当前已使用的复制槽数量。

      源数据库的max_wal_senders参数值必须等于或大于max_replication_slots参数值。

  • 源数据库对象要求:
    • 同步对象依赖和关联的对象也须一起同步,否则可能导致同步失败。
      说明:

      常见的关联关系:主外键关联表、表继承子表引用父表、表分区子分区表引用分区表、表自增列引用序列等。

  • 目标数据库参数要求:
    • 目标数据库的block_size参数值必须大于源库中的对应参数值。
  • 目标数据库对象要求
    • 目标库不可以包含,与待同步对象类型相同且名称相同的对象,包括库、模式、表等。系统库、系统模式、系统表等除外。
    • 目标数据库的字符集必须与源数据库一致。
    • 目标数据库的时区设置必须与源数据库一致。
    • 增量同步的表要禁用外键,因为DRS并行回放会使得不同表之间的写入顺序和源库不一致,可能会触发外键约束限制,造成同步失败。
  • 其他使用须知
    • 若专属计算集群不支持4vCPU/8G或以上规格实例,则无法创建同步任务。
    • 分区表、继承表将转换为普通表同步到目标库中。
    • 模式名或表名映射时,为防止索引和约束名冲突,同步后表上的原索引名称将变为此格式:i_+哈希值+原索引名(可能被截断)+_key。其中哈希值由“原模式名_原表名_原索引名”计算得到。同理,表上的原约束名将变为:c_+哈希值+原约束名(可能被截断)+_key。
    • 对于全量+增量和增量任务,启动任务前,请确保源库中未启动长事务,源库启动长事务会阻塞逻辑复制槽的创建,进而引发任务失败。

全量同步过程须知

  • 请勿修改源库和目标库的端口号,请勿修改、删除源库和目标库连接用户的密码、权限,否则可能导致任务失败。
  • 请勿在源库执行任何DDL,否则可能导致数据不一致或任务失败。
  • 请勿在目标库做写入操作,否则可能导致数据不一致。

增量同步过程须知

  • 请勿修改源库和目标库的端口号,请勿修改、删除源库和目标库连接用户的密码、权限,否则可能导致任务失败。
  • 请勿修改源数据库表的主键或者唯一键(主键不存在时),否则可能导致增量数据不一致或任务失败。
  • 请勿修改源数据库中表的replica identity属性,否则可能导致增量数据不一致或任务失败。
  • 请勿在目标库做写入操作,否则可能导致数据不一致。
  • 库级同步时,源库新增无主键表时,务必同时将该无主键表的replica identity属性设置为full,然后再写入数据,否则可能导致数据不一致或任务失败。

同步对比使用须知

  • 建议在源库的业务低峰期进行数据比对,防止误报不一致数据,以及减少对源库和DRS任务的冲击。
  • 在增量同步过程中做对比时,源库若存在写入,则对比结果可能不一致。
  • 不支持在全量同步过程中做对比。
  • 不支持数据对比过程中做限速。

结束任务须知

  • 正常结束任务:
    • 全量+增量实时同步任务正常结束时,将自动删除任务在源库创建的流复制槽。
  • 强制结束任务
    • 强制结束全量+增量实时同步任务,需要手动删除源库可能残留的复制槽,可参考PostgreSQL为源强制结束任务章节的指导进行操作。

前提条件

  • 已登录数据复制服务控制台。
  • 账户余额大于等于0元。
  • 满足实时同步支持的数据库类型和版本,详情请参见支持的数据库
  • 已阅读以上使用建议使用须知
  • 当用户创建DRS任务使用的是子帐号时,请先确认已添加过委托。创建委托方法,可参考委托管理

操作步骤

本小节以PostgreSQL->GaussDB(DWS)的入云同步为示例,介绍如何使用数据复制服务配置VPC网络场景下的实时同步任务。

  1. 在“实时同步管理”页面,单击“创建同步任务”。
  2. 在“同步实例”页面,填选区域、任务名称、描述、同步实例信息,单击“下一步”。

    图1 同步任务信息
    表5 任务和描述

    参数

    描述

    区域

    当前所在区域,可进行切换。

    任务名称

    任务名称在4-50位之间,必须以字母开头,不区分大小写,可以包含字母、数字、中划线或下划线,不能包含其他的特殊字符。

    描述

    描述不能超过256位,且不能包含! = < > & ' " \ 特殊字符。

    图2 同步实例信息
    表6 同步实例信息

    参数

    描述

    数据流动方向

    选择“入云”

    源数据库引擎

    选择“PostgreSQL”

    目标数据库引擎

    选择“GaussDB(DWS)”

    网络类型

    此处以“VPC网络”为示例,可选公网网络、VPC网络和VPN、专线网络。

    目标数据库实例

    目标数据库为GaussDB(DWS)实例。

    同步实例所在子网

    请选择同步实例所在的子网。也可以单击“查看子网”,跳转至“网络控制台”查看实例所在子网帮助选择。

    默认值为当前所选数据库实例所在子网,请选择有可用IP地址的子网。为确保同步实例创建成功,仅显示已经开启DHCP的子网。

    同步类型

    • 全量+增量:

      该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。

    企业项目

    对于已成功关联企业项目的用户,仅需在“企业项目”下拉框中选择目标项目。

    如果需要自定义企业项目,请前往项目管理服务进行创建。关于如何创建项目,详见《项目管理用户指南》。

    标签

    • 可选配置,对同步任务的标识。使用标签可方便管理您的任务。每个任务最多支持10个标签配额。
    • 任务创建成功后,您可以单击任务名称,在“标签”页签下查看对应标签。关于标签的详细操作,请参见标签管理

  3. 在“源库及目标库”页面,同步实例创建成功后,填写源库信息和目标库信息,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”

    测试连接时需要确保DRS任务同源库、目标库的连通性。

    • 网络连通性:确保源库和目标库允许DRS访问,通常至少需要放通DRS的IP。公网网络的DRS任务放通DRS的公网IP,VPC网络、VPN、专线网络的DRS任务放通DRS的内网IP,可参考网络准备章节进行网络打通。
    • 账号连通性:确保源库和目标库允许DRS通过连接账号和密码访问。

    此处源库类型分为ECS自建库和RDS实例,需要根据源数据库的实际来源选择相应的分类。两种场景下的参数配置不一样,需要根据具体场景进行配置。

    • 场景一:ECS自建库源库信息配置
      图3 ECS自建库场景源库信息
      表7 ECS自建库场景源库信息

      参数

      描述

      源库类型

      选择“ECS自建库”

      VPC

      源数据库实例所在的虚拟专用网络,可以对不同业务进行网络隔离。您需要创建或选择所需的虚拟私有云。如何创建虚拟私有云,请参见《虚拟私有云用户指南》中的“创建虚拟私有云基本信息及默认子网”。

      子网

      通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。子网在可用分区内才会有效,创建源数据库实例的子网需要开启DHCP功能,在创建过程中也不能关闭已选子网的DHCP功能。

      IP地址或域名

      源数据库的IP地址或域名。

      端口

      源数据库服务端口,可输入范围为1~65535间的整数。

      指定数据库名称

      选择是否指定数据库,开启后需手动输入数据库名称。

      数据库用户名

      源数据库的用户名。

      数据库密码

      源数据库的用户名所对应的密码。

      SSL安全连接

      通过该功能,用户可以选择是否开启对同步链路的加密。如果开启该功能,需要用户上传SSL CA根证书。

      说明:
      • 最大支持上传500KB的证书文件。
      • 如果不使用SSL证书,请自行承担数据安全风险。

      源数据库的IP地址或域名、数据库用户名和密码,会被系统加密暂存,直至删除该迁移任务后自动清除。

    • 场景二:RDS实例源库信息配置
      图4 RDS实例场景源库信息
      表8 RDS实例场景源库信息

      参数

      描述

      源库类型

      选择“RDS实例”

      数据库实例名称

      选择待同步的关系型PostgreSQL数据库实例作为源数据库实例。

      数据库用户名

      源数据库实例的用户名。

      数据库密码

      源数据库的用户名所对应的密码。

    图5 目标库信息
    表9 目标库信息

    参数

    描述

    数据库实例名称

    默认为创建迁移任务时选择的GaussDB(DWS)实例,不可进行修改。

    数据库用户名

    目标数据库的用户名。

    数据库密码

    目标数据库的用户名所对应的密码。

    源和目标数据库用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上,待该任务删除后会永久清除。

  4. “设置同步”页面,选择同步对象和同步用户,单击“下一步”

    图6 同步模式
    表10 同步对象

    参数

    描述

    增量阶段冲突策略

    该冲突策略特指增量同步中的冲突处理策略,全量阶段的冲突默认忽略。冲突策略目前支持如下三种形式:

    • 忽略

      当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将跳过冲突数据,继续进行后续同步。

    • 报错

      当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),同步任务将失败并立即中止。

    • 覆盖

      当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将覆盖原来的冲突数据。

    同步对象

    同步对象支持表级同步和库级同步,您可以根据业务场景选择对应的数据进行同步。

    • 选择对象的时候支持搜索,以便您快速选择需要的数据库对象。
    • 在同步对象右侧已选对象框中,可以使用对象名映射功能进行源数据库和目标数据库中的同步对象映射,具体操作可参考对象名映射

      对schema名或者表名进行映射后,为防止索引/约束名称冲突,被映射表上的索引和约束名称将按照“前缀+基于全名称的哈希值+原索引/约束名+_key”的规则进行映射,其中索引的前缀为“i_”,约束的前缀为“c_”,全名称为“模式名_表名_索引/约束名”,原索引/约束名可能由于长度限制而发生截断。

  5. “预检查”页面,进行同步任务预校验,校验是否可进行。

    • 查看检查结果,如有不通过的检查项,需要修复不通过项后,单击“重新校验”按钮重新进行任务预校验。

      预检查不通过项处理建议请参见《数据复制服务用户指南》中的“预检查不通过项修复方法”。

    • 预检查完成后,且所有检查项结果均通过时,单击“下一步”
      图7 预检查

      所有检查项结果均通过时,若存在请确认项,需要阅读并确认详情后才可以继续执行下一步操作。

  6. “任务确认”页面,设置同步任务的启动时间、任务异常通知设置、SMN主题、时延阈值、任务异常自动结束时间,并确认同步任务信息无误后,勾选协议,单击“启动任务”,提交同步任务。

    图8 任务启动设置
    表11 任务启动设置

    参数

    描述

    启动时间

    同步任务的启动时间可以根据业务需求,设置为“立即启动”或“稍后启动”。

    说明:

    预计同步任务启动后,会对源数据库和目标数据库的性能产生影响,建议选择业务低峰期,合理设置同步任务的启动时间。

    任务异常通知设置

    该项为可选参数,开启之后,选择对应的SMN主题。当同步任务状态异常时,系统将发送通知。

    SMN主题

    “任务异常通知设置”项开启后可见,需提前在SMN上申请主题并添加订阅。

    SMN主题申请和订阅可参考《消息通知服务用户指南》

    时延阈值

    在增量同步阶段,源数据库和目标数据库之间的同步有时会存在一个时间差,称为时延,单位为秒。

    时延阈值设置是指时延超过一定的值后(时延阈值范围为0—3600s),DRS可以发送告警通知。告警通知将在时延稳定超过设定的阈值6min后发送,避免出现由于时延波动反复发送告警通知的情况。

    说明:
    • 当时延阈值设置为0时,不会发送通知给收件人。
    • 首次进入增量同步阶段,会有较多数据等待同步,存在较大的时延,属于正常情况,不在此功能的监控范围之内。
    • 设置时延阈值之前,需要设置任务异常通知。

    任务异常自动结束时间(天)

    设置任务异常自动结束天数,输入值必须在14-100之间,默认值14。

    说明:

    异常状态下的任务仍然会计费,而长时间异常的任务无法续传和恢复。设置任务异常自动结束天数后,异常且超时的任务将会自动结束,以免产生不必要的费用。

  7. 同步任务提交后,您可在“管理”页面,查看并管理自己的任务。

    • 您可查看任务提交后的状态,状态请参见任务状态说明
    • 在任务列表的右上角,单击刷新列表,可查看到最新的任务状态。

分享:

    相关文档

    相关产品

close