# 其他云PostgreSQL同步到RDS for PostgreSQL 数据复制服务（Data Replication Service，简称DRS）支持将其他云PostgreSQL数据库的数据实时同步到本云云数据库PostgreSQL实例。通过DRS提供的实时同步任务，实现关键业务的数据实时流动。 本章节主要介绍了通过DRS将其他云PostgreSQL数据库实时同步至本云云数据库PostgreSQL的任务配置流程。包括以下同步场景： - 其他云RDS PostgreSQL实时同步至本云云数据库PostgreSQL。 - 其他云内云主机自建的PostgreSQL数据库实时同步至本云云数据库PostgreSQL。 #### 网络示意图 图1其他云RDS PostgreSQL实时同步示意图 ![](https://support.huaweicloud.com/bestpractice-drs/zh-cn_image_0180789777.png) 图2其他云自建PostgreSQL数据库实时同步示意图 ![](https://support.huaweicloud.com/bestpractice-drs/zh-cn_image_0180790656.png) #### 同步流程 图3同步流程图 ![](https://support.huaweicloud.com/bestpractice-drs/zh-cn_image_0000001197948691.png) #### 同步建议**（重要）** - 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题，如何最小化对数据库的影响请参考如下建议。 - 强烈建议您在启动任务时选择"稍后启动"功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。 #### 同步须知**（重要）** ![](https://support.huaweicloud.com/bestpractice-drs/public_sys-resources/notice_3.0-zh-cn.png) 在创建实时同步任务之前，请您务必仔细阅读同步使用须知。 参考《数据复制服务实时同步》中具体链路的"[使用须知](https://support.huaweicloud.com/realtimesyn-drs/drs_04_0107.html)"章节。 #### 同步准备 1. **权限准备：** 当使用 DRS 将其他云PostgreSQL数据库的数据同步到本云云数据库PostgreSQL实例时，在不同同步类型情况下，对源数据库和目标数据库的账号权限要求如[表1]： 表1同步账号权限 | **同步类型** | **全量同步** | **全量+** **增量同步** | |:---|:---|:---| | 源数据库 | 数据库的CONNECT权限，模式的USAGE权限，表的SELECT权限，序列的SELECT权限，系统表pg_catalog.pg_authid的select权限（用于同步用户的密码）。 | 数据库的CONNECT权限，模式的USAGE权限，表的SELECT权限，序列的SELECT权限，系统表pg_catalog.pg_authid的SELECT权限（用于同步用户的密码），无主键表的UPDATE、DELETE和TRUNCATE权限，REPLICATION连接权限。 说明： - 无主键表的UPDATE、DELETE和TRUNCATE权限，仅用于对无主键表短暂加锁，以确保迁移后，目标库中无主键表数据与源库保持一致。 - REPLICATION连接权限的添加方法： 1. 在源数据库的"pg_hba.conf"配置文件的所有配置前增加一行配置"host replication \ \/32 md5"； 2. 在源库使用SUPERUSER用户执行语句"select pg_reload_conf();"生效，或重启数据库实例生效。 | | 目标数据库 | - **库级同步**：需要具有CREATEDB权限。 - **表级同步** ： - 如果需要同步库，需要具有CREATEDB权限。 - 如果需要同步模式，需要具有模式所在库的CONNECT权限、模式所在库上的CREATE权限。 - 如果需要同步模式下的对象，需要具有模式所在库的CONNECT权限、对象所在模式的USAGE权限、对象所在模式上的CREATE权限。 - **同步用户**：需要具有CREATEROLE权限。 - **同步用户权限**：同步用户的default privilege需要为系统默认值，否则可能导致目标库与源库的对象权限不一致。 说明： 同步事件触发器、文本搜索解析器、文本搜索模板时，不仅要求目标库版本为RDS for PostgreSQL 11.11及以上，还要求目标库连接用户为root用户或root用户的成员。 || - **源数据库权限设置：** 需要确保源数据库PostgreSQL的账号权限具备[表1]的要求。若权限不足，需要在源数据库端开通高权限的账号。 - **目标数据库权限设置：** 本云云数据库PostgreSQL实例使用初始账号即可。 2. **网络准备：** 源数据库需要开放公网访问。 - **源数据库的网络设置：** 源数据库PostgreSQL实例需要开放外网域名的访问。 - **目标数据库的网络设置：** 目标数据库默认与DRS实例处在同一个VPC内，网络是互通的，不需要进行任何设置。 3. **安全规则准备。** - **源数据库的安全规则设置：** 源数据库PostgreSQL实例需要将DRS同步实例的弹性公网IP添加到其网络白名单中，确保源数据库PostgreSQL实例可以与上述弹性公网IP连通。 在设置网络白名单之前，需要先获取DRS同步实例的弹性公网IP，具体方法如下： DRS同步实例创建成功后，可在"源库及目标库"页面，获取DRS同步实例弹性公网IP，如[图4]所示。 图4同步实例弹性公网IP ![](https://support.huaweicloud.com/bestpractice-drs/zh-cn_image_0000001197951627.png) 上述方法为精细配置网络白名单的方法，还有一种简单设置白名单的方法，**在安全允许的情况下**，可以将源数据库PostgreSQL实例的网络白名单设置为0.0.0.0/0，代表允许任何IP地址访问该实例。 以上白名单是为了进行同步针对性设置的，同步结束后可以删除。 - **目标数据库安全规则设置：** 目标数据库默认与DRS同步实例处在同一个VPC，网络是互通的，DRS可以直接写入数据到目标数据库，不需要进行任何设置。 4. **其他事项准备：** DRS仅支持同步PostgreSQL部分类型的DDL语句，具体支持范围请参考[相关指导](https://support.huaweicloud.com/realtimesyn-drs/drs_03_0088.html)。请合理规划源数据库业务，不要在同步期间产生支持范围外的DDL操作。 #### 同步步骤 1. **创建同步任务** **。** 1. 登录管理控制台，在服务列表中选择"数据库 \> 数据复制服务"，进入数据复制服务信息页面。 2. 在"实时同步管理"页面，单击右上角"创建同步任务"，进入同步任务信息页面。 3. 在"同步实例"页面，填选任务名称、描述和同步实例信息。 图5同步实例信息 ![](https://support.huaweicloud.com/bestpractice-drs/zh-cn_image_0000002142244617.png) 表2任务和描述 | **参数** | **描述** | |:---|:---| | 区域 | 当前所在区域，可进行切换。为了降低访问时延、提高访问速度，请就近选择靠近您业务的区域。 | | 项目 | 当前区域对应的项目，可进行切换。 | | 任务名称 | 任务名称在4-50位之间，必须以字母开头，不区分大小写，可以包含字母、数字、中划线或下划线，不能包含其他的特殊字符。 | | 描述 | 描述不能超过256位，且不能包含! = \< \> \& ' " \\ 特殊字符。 | 表3同步实例信息 | **参数** | **描述** | |:---|:---| | 数据流动方向 | 选择"入云"。 | | 源数据库引擎 | 选择"PostgreSQL"。 | | 目标数据库引擎 | 选择"PostgreSQL" 。 | | 网络类型 | 选择"公网网络"。建议您开启SSL安全连接，SSL约降低20-30%的同步性能，但保证了数据的安全性。 | | 目标数据库实例 | 选择您所创建的目标RDS for PostgreSQL实例 | | 同步类型 | - 全量+增量 该模式为数据持续性实时同步，通过全量过程完成目标端数据库的初始化后，增量同步阶段通过解析日志等技术，将源端和目标端数据保持数据持续一致。 - 全量 该模式为数据库一次性同步，适用于可中断业务的数据库同步场景，全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 - 增量 说明： 选择"全量+增量"同步模式，增量同步可以在全量同步完成的基础上实现数据的持续同步，无需中断业务，实现同步过程中源业务和数据库继续对外提供访问。 | 4. 在"源库及目标库"信息页面，同步实例创建成功后，填选源库信息和目标库信息，建议您单击"源库和目标库"处的"测试连接"，分别测试并确定与源库和目标库连通后，勾选协议，单击"下一步"。 图6源库及目标库信息 ![](https://support.huaweicloud.com/bestpractice-drs/zh-cn_image_0000001197957411.png) 表4源库信息 | **参数** | **描述** | |:---|:---| | IP地址或域名 | 配置源数据库PostgreSQL实例的访问地址或域名。 | | 端口 | 配置源数据库PostgreSQL实例的服务端口，可输入范围为1\~65535间的整数。 | | 数据库用户名 | 访问源数据库PostgreSQL的用户名。 | | 数据库密码 | 访问源数据库PostgreSQL的用户名所对应的密码。 | | SSL安全连接 | 在选择公网网络进行同步任务时，为了提升数据在网络传输过程中的安全性，建议您开启SSL安全连接，对同步链路进行加密，如果开启，需要您上传CA证书。 | 表5目标库信息 | **参数** | **描述** | |:---|:---| | 数据库实例名称 | 默认为创建同步任务时选择的已创建的RDS for PostgreSQL实例，不可进行修改。 | | 数据库用户名 | 访问目标端RDS for PostgreSQL实例的用户名。 | | 数据库密码 | 访问目标端RDS for PostgreSQL实例的用户名所对应的密码。 | 5. 在"同步设置"页面，选择同步对象和同步用户。 图7同步模式 ![](https://support.huaweicloud.com/bestpractice-drs/zh-cn_image_0000001151959920.png) 表6同步对象 | **参数** | **描述** | |:---|:---| | 流速模式 | 流速模式支持限速和不限速，默认为不限速。 | | 增量阶段冲突策略 | 数据复制服务提供的实时同步功能使用了主键或唯一键冲突策略，这些策略可以由您自主选择，尽可能保证源数据库中有主键约束或唯一键约束的表同步到目标数据库是符合预期的。 冲突策略目前支持如下三种形式： - 忽略 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。 - 报错 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），同步任务将失败并立即中止。 - 覆盖 当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将覆盖原来的冲突数据。 当数据发生冲突时，针对如下情况，建议选择"忽略"或者"覆盖"，否则建议选择"报错"： - 目标数据库存在数据 - 多对一同步场景 - 目标数据库手动更新数据 | | 对象同步范围 | 对象同步范围支持选择普通索引、增量DDL同步和全量阶段填充物化视图，您可以根据业务需求选择是否进行同步。 全量阶段填充物化视图：仅对源库已经填充的物化视图生效，该填充操作会影响全量同步性能，建议在全量同步完成后，手动在目标库填充。 | | 同步对象 | 同步对象选择的粒度可以为库级或表级，您可以根据业务需求，选择同步整个数据库或者只同步部分表，单个任务只能选择实例中的一个数据库中的对象进行同步，支持库名映射。 - 库级同步：将源数据库中的所有对象全部同步至目标数据库。 - 表级同步：将自定义选择的表对象同步至目标数据库。 说明： 若选择表级同步时，由于选择的表可能与数据库的其他对象存在依赖关系，若所依赖的对象没有被同时选择且未存在于目标库中，则会导致任务失败。建议您在同步之前进行确认，或选择库级同步。 | | 同步用户 | 数据库的同步过程中，同步用户需要进行单独处理。 同步用户一般分为两类：可同步的用户和不支持同步的用户。对于不支持同步的用户，在备注列的查看详情中会提示具体的原因，您可以根据业务需求选择是否同步用户和权限。 | 6. 在"预检查"页面，进行同步任务预校验，校验是否可进行实时同步。 - 查看检查结果，如有不通过的检查项，需要修复不通过项后，单击"重新校验"按钮重新进行任务预校验。 预检查不通过项处理建议请参见《数据复制服务用户指南》中的"[预检查不通过项修复方法](https://support.huaweicloud.com/trouble-drs/drs_precheck.html)"。 - 预检查完成后，且所有检查项结果均通过时，单击"下一步"。 图8预检查 ![](https://support.huaweicloud.com/bestpractice-drs/zh-cn_image_0000001197919559.png) ![](https://support.huaweicloud.com/bestpractice-drs/public_sys-resources/note_3.0-zh-cn.png) 所有检查项结果均通过时，若存在请确认项，需要阅读并确认详情后才可以继续执行下一步操作。 7. 在"任务确认"页面，选择同步任务的启动时间，勾选协议，单击"启动任务"，提交同步任务。 ![](https://support.huaweicloud.com/bestpractice-drs/public_sys-resources/note_3.0-zh-cn.png) - 同步任务的启动时间可以根据业务需求，设置为"立即启动"或"稍后启动"。 - 预计同步任务启动后，会对源数据库和目标数据库的性能产生影响，建议选择业务低峰期，合理设置同步任务的启动时间。 8. 同步任务提交后，开始启动同步任务，您可以返回"实时同步管理"页面，查看同步任务状态。 2. **任务管理** **。** 同步任务启动后，会经历全量同步和增量同步两个阶段，对于不同阶段的同步任务，您可以进行任务管理。 - 全量同步 查看同步进度：全量同步中的任务，您可单击任务名称，在"同步进度"页签下，查看全量同步进度，您可以查看结构、数据、索引同步的进度，也查看具体同步对象的同步进度。当全量同步进度显示为100%，表示全量同步已经完成。 - 增量同步 - 查看时延监控：全量同步完成后，开始进行增量同步。对于增量同步中的任务，您可单击任务名称，在"同步进度"页签下，查看增量同步同步时延，**当时延为0s时，说明源数据库和目标数据库的数据是实时同步的。** 您也可以使用"同步对比"页签进行一致性对比。 图9查看时延监控 ![](https://support.huaweicloud.com/bestpractice-drs/zh-cn_image_0219615465.png) - 查看同步对比：为了尽可能减少业务的影响和业务中断时间，增量同步中的任务，您可单击任务名称，在"同步对比"页签下创建对比任务。 具体的同步对比操作及注意事项请参考《数据复制服务用户指南》中"[对比同步项](https://support.huaweicloud.com/realtimesyn-drs/drs_10_0012.html)"章节。 3. **割接建议** **。** 建议您选择一个业务低峰期，开始正式系统割接流程。割接前，请您确认至少在业务低峰期有过一次完整的数据对比。可以结合数据对比的"稍后启动"功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。 1. 先中断业务（如果业务负载非常轻，也可以尝试不中断业务）。 2. 在源数据库端执行如下语句，并观察在1-5分钟内若无任何新会话执行SQL ，则可认为业务已经完全停止。 ``` select * from pg_stat_activity; ``` ![](https://support.huaweicloud.com/bestpractice-drs/public_sys-resources/note_3.0-zh-cn.png) 上述语句查询到的进程列表中，包括DRS同步实例的连接，您需要确认除DRS同步实例的连接外无任何新会话执行SQL，即可认为业务已经完全停止。 3. 通过DRS同步任务监控页面进行观察同步时延，保持实时同步时延为0，并稳定保持一段时间；同时，您可以使用数据级对比功能，进行割接前的最后一次数据级对比，耗时可参考之前的对比记录。 - 如果时间允许，则选择全部对比。 - 如果时间不允许，则推荐对比活跃表，关键业务表，第二步对比多次存在差异的表等。 4. 确定系统割接时机，业务系统指向本云数据库，业务对外恢复使用，同步完成。 4. **同步结束** **。** 1. 结束同步任务：业务系统和数据库切换至本云后，为了防止源数据库的操作继续同步到目标数据库，造成数据覆盖问题，此时您可选择结束同步任务，该操作仅删除了同步实例，同步任务仍显示在任务列表中，您可以进行查看或删除。结束同步任务后，DRS将不再计费。 2. 删除同步任务：对于已结束的同步任务，您可选择删除任务。该操作将一并删除同步任务，删除同步任务后，该任务将不会出现在任务列表中。