将PostgreSQL同步到PostgreSQL
支持的源和目标数据库
源数据库 |
目标数据库 |
---|---|
|
RDS for PostgreSQL(9.5、9.6、10、11、12、13、14版本)
说明:
仅支持目标库大版本等于或高于源库大版本。 |
支持的同步对象范围
在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表2。DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查。
类型名称 |
使用须知 |
---|---|
同步对象范围 |
|
数据库账号权限要求
在使用DRS进行同步时,连接源库和目标库的数据库账号需要满足以下权限要求,才能启动实时同步任务。不同类型的同步任务,需要的账号权限也不同,详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查,并给出处理建议。
![](https://support.huaweicloud.com/intl/zh-cn/tr-central-201-usermanual-drs/public_sys-resources/note_3.0-zh-cn.png)
- 建议创建单独用于DRS任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。
- 连接源或目标数据库的账号密码修改后,请尽快修改DRS任务中的连接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。
类型名称 |
全量同步 |
全量+增量同步 |
---|---|---|
源数据库连接账号 |
数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限,系统表pg_catalog.pg_authid的select权限(用于同步用户的密码)。 |
数据库的CONNECT权限,模式的USAGE权限,表的SELECT权限,序列的SELECT权限,系统表pg_catalog.pg_authid的SELECT权限(用于同步用户的密码),无主键表的UPDATE、DELETE和TRUNCATE权限,REPLICATION连接权限。
说明:
|
目标数据库连接账号 |
说明:
同步事件触发器、文本搜索解析器、文本搜索模版时,不仅要求目标库版本为RDS for PostgreSQL 11.11及以上,还要求目标库连接用户为root用户或root用户的成员。 |
使用建议
![](https://support.huaweicloud.com/intl/zh-cn/tr-central-201-usermanual-drs/public_sys-resources/caution_3.0-zh-cn.png)
- DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。
- 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。
- 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。
- 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。
- 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。
- 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。
- 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。
- DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。
- 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。
- 数据对比
建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
使用须知
DRS全量+增量同步过程一般包含四个阶段:任务启动阶段、全量阶段、增量阶段、结束任务阶段(单增量和单全量任务则包含三个阶段)。为了确保同步各个阶段的平顺,在创建同步任务前,请务必阅读以下使用须知。
类型名称 |
使用和操作约定 |
---|---|
任务启动前使用须知 |
|
全量同步过程使用须知 |
|
增量同步过程使用须知 |
|
同步对比使用须知 |
|
结束任务使用须知 |
|
操作步骤
本小节以PostgreSQL->PostgreSQL的入云同步为示例,介绍如何使用数据复制服务配置VPC网络场景下的实时同步任务。
- 在“实时同步管理”页面,单击“创建同步任务”。
- 在“同步实例”页面,填选任务名称、描述、同步实例信息,单击“开始创建”。
- 任务信息
表5 任务和描述 参数
描述
任务名称
任务名称在4到50位之间,必须以字母开头,可以包含字母、数字、中划线或下划线,不能包含其他的特殊字符。
描述
描述不能超过256位,且不能包含! = < > & ' " \ 特殊字符。
- 同步实例信息
表6 同步实例信息 参数
描述
数据流动方向
选择“入云”。
源数据库引擎
选择“PostgreSQL”。
目标数据库引擎
选择“PostgreSQL” 。
网络类型
此处以“VPC网络”为示例,可选“公网网络”、“VPC网络”和“VPN、专线网络”。
- VPC网络:适合云上同账号同Region数据库之间的同步。
- 公网网络:适合通过公网网络把其他云下或其他平台的数据库同步到目标数据库,该类型要求数据库绑定弹性公网IP(EIP)。
- VPN、专线网络:适合通过专线网络,实现其他云下自建数据库与云上数据库同步、云上同Region跨账号、或云上跨Region的数据库之间的同步。
目标数据库实例
目标数据库为RDS for PostgreSQL数据库实例。
同步实例所在子网
请选择同步实例所在的子网。也可以单击“查看子网”,跳转至“网络控制台”查看实例所在子网帮助选择。
默认值为当前所选数据库实例所在子网,请选择有可用IP地址的子网。为确保同步实例创建成功,仅显示已经开启DHCP的子网。
同步模式
对于创建失败的任务,DRS默认保留3天,超过3天将会自动结束任务。
- 任务信息
- 在“源库及目标库”页面,同步实例创建成功后,填写源库信息和目标库信息,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”。
测试连接时需要确保DRS任务与源库、目标库的连通性。
- 网络连通性:确保源库和目标库允许DRS访问,通常至少需要放通DRS的IP。公网网络的DRS任务放通DRS的公网IP,VPC网络、VPN、专线网络的DRS任务放通DRS的内网IP。
- 账号连通性:确保源库和目标库允许DRS通过连接账号和密码访问。
此处源库类型分为ECS自建库和RDS实例,需要根据源数据库的实际来源选择相应的分类。两种场景下的参数配置不一样,需要根据具体场景进行配置。
- 场景一:ECS自建库源库信息配置
表7 ECS自建库场景源库信息 参数
描述
源库类型
选择“ECS自建库”。
VPC
源数据库实例所在的虚拟专用网络,可以对不同业务进行网络隔离。您需要创建或选择所需的虚拟私有云。
子网
通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。子网在可用分区内才会有效,创建源数据库实例的子网需要开启DHCP功能,在创建过程中也不能关闭已选子网的DHCP功能。
IP地址或域名
源数据库的IP地址或域名。
端口
源数据库服务端口,可输入范围为1~65535间的整数。
指定数据库名称
选择是否指定数据库,开启后需手动输入数据库名称。
数据库用户名
源数据库的用户名。
数据库密码
源数据库的用户名所对应的密码。
SSL安全连接
通过该功能,用户可以选择是否开启对同步链路的加密。
源数据库的IP地址或域名、数据库用户名和密码,会被系统加密暂存,直至删除该迁移任务后自动清除。
- 场景二:RDS实例源库信息配置
表8 RDS实例场景源库信息 参数
描述
源库类型
选择“RDS实例”。
数据库实例名称
选择待同步的关系型PostgreSQL数据库实例作为源数据库实例。
数据库用户名
源数据库实例的用户名。
数据库密码
源数据库的用户名所对应的密码。
表9 目标库信息 参数
描述
数据库实例名称
默认为创建迁移任务时选择的关系型PostgreSQL数据库实例,不可进行修改。
数据库用户名
目标数据库的用户名。
数据库密码
目标数据库的用户名所对应的密码。
源和目标数据库用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上,待该任务删除后会永久清除。
- 在“设置同步”页面,选择同步对象和同步用户,单击“下一步”。
表10 同步对象 参数
描述
流速模式
流速模式支持限速和不限速,默认为不限速。
- 限速
自定义的最大同步速度,全量同步过程中的同步速度将不会超过该速度。
当流速模式选择了“限速”时,你需要通过流速设置来定时控制同步速度。流速设置通常包括限速时间段和流速大小的设置。默认的限速时间段为“全天限流”,您也可以根据业务需求选择“时段限流”。自定义的时段限流支持最多设置3个定时任务,每个定时任务之间不能存在交叉的时间段,未设定在限速时间段的时间默认为不限速。
流速的大小需要根据业务场景来设置,不能超过9999MB/s。
- 不限速
对同步速度不进行限制,通常会最大化使用源数据库的出口带宽。该流速模式同时会对源数据库造成读消耗,消耗取决于源数据库的出口带宽。比如源数据库的出口带宽为100MB/s,假设高速模式使用了80%带宽,则同步对源数据库将造成80MB/s的读操作IO消耗。说明:
- 限速模式只对全量阶段生效,增量阶段不生效。
- 您也可以在创建任务后修改流速模式。具体方法请参见修改流速模式。
增量阶段冲突策略
该冲突策略特指增量同步中的冲突处理策略,全量阶段的冲突默认忽略。冲突策略目前支持如下形式:
对象同步范围
对象同步范围支持选择普通索引、增量DDL同步和全量阶段填充物化视图,您可以根据业务需求选择是否进行同步。
全量阶段填充物化视图:仅对源库已经填充的物化视图生效,该填充操作会影响全量同步性能,建议在全量同步完成后,手动在目标库填充。
同步对象
左侧框是源数据库对象,右侧框是已经选择的对象,同步对象支持表级同步、库级同步和导入对象文件,您可以根据业务场景选择对应的数据进行同步。
- 选择库级同步:全量同步时,同步对象为所选的库、库中对象的存量数据;增量同步时,同步除了无日志表、临时表外的所有表的DML及部分DDL。
- 选择表级同步:全量同步时,同步对象为所选的表、序列、视图或物化视图的存量数据;增量同步时,同步所选表的DML及部分DDL。
- 在同步对象右侧已选对象框中,可以使用对象名映射功能进行源数据库和目标数据库中的同步对象映射,具体操作可参考对象名映射。
模式名或表名映射时,为防止索引和约束名冲突,同步后表上的原索引名称将变为此格式:i_+哈希值+原索引名(可能被截断)+_key。其中哈希值由“原模式名_原表名_原索引名”计算得到。同理,同步后表上的原约束名将变为:c_+哈希值+原约束名(可能被截断)+_key。
- 选择导入对象文件,具体步骤和说明可参考导入同步对象。
说明:- 选择对象的时候支持对展开的库进行搜索,以便您快速选择需要的数据库对象。
- 如果有切换源数据库的操作或源库同步对象变化的情况,请在选择同步对象前单击右上角的
,以确保待选择的对象为最新源数据库对象。
- 当对象名称包含空格时,名称前后的空格不显示,中间如有多个空格只显示一个空格。
- 选择的同步对象名称中不能包含空格。
同步用户
数据库的同步过程中,同步用户需要进行单独处理。详细说明可参考表11。
- 限速
- 在“预检查”页面,进行同步任务预校验,校验是否可进行。
- 查看检查结果,如有不通过的检查项,需要修复不通过项后,单击“重新校验”按钮重新进行任务预校验。
- 预检查完成后,且所有检查项结果均通过时,单击“下一步”。
所有检查项结果均通过时,如果存在请确认项,需要阅读并确认详情后才可以继续执行下一步操作。
- 在“任务确认”页面,设置同步任务的启动时间,并确认同步任务信息无误后,单击“启动任务”,提交同步任务。
表12 任务启动设置 参数
描述
启动时间
同步任务的启动时间可以根据业务需求,设置为“立即启动”或“稍后启动”。
说明:预计同步任务启动后,会对源数据库和目标数据库的性能产生影响,建议选择业务低峰期,合理设置同步任务的启动时间。
- 同步任务提交后,您可在“实时同步管理”页面,查看并管理自己的任务。
- 您可查看任务提交后的状态,状态请参见任务状态说明。
- 在任务列表的右上角,单击
刷新列表,可查看到最新的任务状态。
- 对于未启动、状态为配置中的任务,DRS默认保留3天,超过3天DRS会自动删除后台资源,当前任务状态不变。当用户再次配置时,DRS会重新申请资源,此时DRS任务IP会发生改变。