文档首页/ 数据复制服务 DRS/ 用户指南（安卡拉区域）/ 实时同步/ 入云/ 将Oracle同步到PostgreSQL
更新时间：2024-04-15 GMT+08:00
查看PDF
分享

将Oracle同步到PostgreSQL

支持的源和目标数据库

表1 支持的数据库

源数据库

目标数据库
  • 本地自建数据库（Oracle 10g、11g、12c、18c、19c、21c版本）
  • ECS自建数据库（Oracle 10g、11g、12c、18c、19c、21c版本）
  • RDS for PostgreSQL

使用建议

  • DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。
  • 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。
  • 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。
  • 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。
    • 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。
    • 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。
    • DRS并发读取数据库，会占用大约6-10个session连接数，需要考虑该连接数对业务的影响。
    • 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。
  • 数据对比

    建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

使用须知

在创建同步任务前，请务必阅读以下使用须知。

  • 建议创建单独用于DRS任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。
  • 连接源或目标数据库的账号密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库账号被锁定影响使用。
表2 使用须知

类型名称

使用和操作限制

数据库权限设置
  • 源数据库端：
    • 全量同步：需要具有CREATE SESSION，SELECT ANY DICTIONARY，针对单表的SELECT权限（GRANT SELECT ON <userName.tbName> to drsUser;）。
    • 全量+增量同步：

      12c及以上版本租户模式：

      12c及以上版本CDB数据库同步时，需要具有CREATE SESSION，SELECT ANY DICTIONARY，EXECUTE_CATALOG_ROLE，SELECT ANY TRANSACTION，LOGMINING权限，以及针对单表的SELECT权限（GRANT SELECT ON <userName.tbName> to drsUser;）。

      12c及以上版本PDB数据库同步时，除了需要具有CREATE SESSION，SELECT ANY DICTIONARY，EXECUTE_CATALOG_ROLE，SELECT ANY TRANSACTION，LOGMINING权限，以及针对单表的SELECT权限（GRANT SELECT ON <userName.tbName> to drsUser;），还需要具有CDB的CREATE SESSION，SELECT ANY DICTIONARY，EXECUTE_CATALOG_ROLE，SELECT ANY TRANSACTION，LOGMINING，SET CONTAINER（GRANT SET CONTAINER TO <userName> CONTAINER=ALL;）权限。

      12c及以上版本非租户模式：

      需要具有CREATE SESSION，SELECT ANY DICTIONARY，EXECUTE_CATALOG_ROLE，SELECT ANY TRANSACTION，LOGMINING权限，以及针对单表的SELECT权限（GRANT SELECT ON <userName.tbName> to drsUser;）。

      11g及以下版本数据库同步时，需要具有CREATE SESSION，SELECT ANY DICTIONARY，EXECUTE_CATALOG_ROLE，SELECT ANY TRANSACTION权限，以及针对单表的SELECT权限（GRANT SELECT ON <userName.tbName> to drsUser;）。

    • 增量同步时，源库Oracle需要开启日志归档模式和最小补充日志，所需同步表必须开启PK/UI或以ALL级别的补充日志，不限制库级或表级补充日志方式，如果只开启表级补充日志，重建或者RENAME表后需要重新设置；请确保以上配置在同步过程中始终保持开启状态。
    • 12c及以上版本不支持使用ORACLE_MAINTAINED=Y的用户账号进行增量同步（system/sys除外），因为该属性的账号无日志解析权限。
  • 目标数据库账号必须具有每张表的如下权限：INSERT、SELECT、UPDATE、DELETE、CONNECT、CREATE、REFERENCES。

同步对象约束
  • 支持表、索引、约束（主键、空、非空）的同步，不支持视图、外键、存储过程、触发器、函数、事件、虚拟列的同步。
  • 全量阶段不支持bfile，xml、sdo_geometry、urowid、interval（精度大于6位）和自定义类型。
  • 增量阶段不支持bfile，xml、interval、sdo_geometry、urowid、timestamp（精度大于6位）和自定义类型。
  • 增量阶段源库为Oracle物理备库（PHYSICAL STANDBY）时不支持解析lob类型数据（无法生成数据字典），如果增量同步的表中出现lob类型会导致增量同步异常。
  • 增量阶段不支持Oracle字符集扩展的字符，标准字符集无法解析Oracle自定义扩展字符。
  • 对于TIMESTAMP WITH TIME ZONE类型，根据目标库时区做转换后不得大于“9999-12-31 23:59:59.999999”。
  • 源库支持to_date和sys_guid函数做默认值。将其他函数作为default值时，需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况，可能会出现以下结果：
    • 默认值函数可能会被置空。
    • 创建表失败，导致对象对比不一致或者任务失败。
  • 如果表中只有LOB字段，可能出现数据不一致性情况。
  • 如果Oracle中使用LOB类型各自的empty函数写入数据时，通过JDBC查询出来的值是空字符串，写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。
  • 针对无主键且无索引的表，非大字段的列必须大于3列，否则会因为无法全列匹配导致增量异常。
  • 不支持默认值含有表达式的函数的表的同步。
  • 不支持同步源库中的临时表。
  • 不支持同步源库中有虚拟列的表。
  • 选择手动创建表结构时，目标库中的时间类型是否带有时区需要与源库中保持一致，否则可能会因为时区转换导致时间数据不一致。

源数据库要求
  • 库名、表名不支持的字符有：非ASCII字符、“. ”、 “>”、 “<”、 “\”、 “`”、 “|”、 “,”、 “? ”、 “! ”、 “"”和 “'”。
  • 不支持选择源数据库的空库进行同步。
  • 目前仅支持同步如下字符集：ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8MSWIN1252、WE8ISO8859P1、WE8ISO8859P2、WE8ISO8859P4、WE8ISO8859P5、WE8ISO8859P7、WE8ISO8859P9、WE8ISO8859P13、WE8ISO8859P15。

目标数据库要求
  • 目标数据库实例的运行状态必须正常。
  • 目标数据库实例必须有足够的磁盘空间。
  • 同步的表要禁用外键，因为DRS并行回放会使得不同表之间的写入顺序和源库不一致，可能会触发外键约束限制，造成同步失败。
  • 支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。
    • 目标端多的列要求非空且没有默认值，源端insert数据，同步到目标端后多的列为null，不符合目标端要求。
    • 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。

操作须知
  • 相互关联的数据对象要确保同时同步，避免因关联对象缺失，导致同步失败。
  • 表等对象名同步到目标库后会转换成小写，如ABC会转换为abc。因此增量同步阶段，选择的源库的表中不能存在仅大小写不同的表，可能会导致同步失败。
  • 如有特殊字符，业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致，否则目标库可能会出现乱码。
  • 不使用DRS同步表结构（自建表结构）的场景下，无主键表如果因表结构问题导致任务失败，修复表结构后续传无法恢复，需要重置任务。
  • 同步表结构时，如果目标库存在与源库同名约束会导致建表失败。
  • 使用DRS同步表结构的场景下，同一个schema中，同步的表中，表、约束、索引等不能有忽略大小写后的同名对象，比如表"A"中有索引名"inx1"， 表B中有索引名"a"，表A和索引"a"忽略大小写重名了，会导致结构同步失败。多个schema映射到一个schema的场景，源库的多个schema中也不能包含同名但字母大小写不同的表、约束和索引。
  • 当Oracle字符集是WE8MSWIN1252时，CLOB列同步到目标库可能出现乱码，建议先修改源库字符集为AL32UTF8再同步数据。
  • 当使用PDB数据库同步时，由于Oracle LogMiner组件的限制，增量同步时必须打开全部PDB。
  • Oralce 12.2及以上版本，由于Oracle LogMiner组件的限制，增量同步不支持表名或列名超过30个字符。
  • Oracle中表结构长度（所有列长字节数之和，char、varchar2等类型字节长度和编码有关）超过65535时，可能导致同步失败。
  • Oracle归档日志文件大小必须大于单条数据最大值，避免单条数据日志跨文件（超过2个日志文件）导致的增量数据解析异常。
  • 对于Oracle RAC集群，建议使用SCAN IP+ SERVICE_NAMES方式创建任务，SCAN IP具有更强的容错性，更好的负载能力，更快的同步体验。
  • 源库为Oracle RAC时，如果需要使用SCAN IP配置DRS任务，需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通（Oracle内部机制），否则无法通过连通性检查。如果不使用SCAN IP，可以使用某一节点的VIP，这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。
  • 如果源库为RAC，增量同步首次启动时所有RAC节点必须正常在线，否则增量启动会出现异常。
  • 如果源库为RAC，增量同步时，不支持增加、减少节点数量，避免导致增量同步异常（为保证数据的强一致性）。
  • 同步过程中，不允许删除连接源和目标数据库的用户的用户名、密码、权限，或修改目标数据库的端口号。
  • 同步过程中，禁止对Oracle源库做resetlogs操作，否则会导致数据无法同步且任务无法恢复。
  • 同步过程中，不支持LOB类型的rollback操作，否则会导致同步任务失败。
  • 同步过程中，不支持修改源数据库Oracle用户名（SCHEMA名），包括11.2.0.2之前版本通过修改USER$字典表方式及11.2.0.2之后通过ALTER USER username RENAME TO new_username修改SCHEMA名称的场景。
  • DRS全量同步表结构时，源库中的char、varchar2类型长度在目标库会按照字节长自动扩大（因为目标库为字节长），至少扩大1.5倍。扩大倍数和源库目标库的字符集有关，例如同为UTF8的情况下，默认扩大3倍，同为GBK的情况下，默认扩大2倍。
  • 全量同步分区表的结构时会将该对象转为非分区的普通表，增量同步时，源库跟分区表相关的操作，在目标库执行可能会失败。
  • 索引同步只同步普通索引，主键等约束在表结构中进行同步。
  • 增量同步时，BLOB末尾的0x00、CLOB末尾的空格会被截断。
  • 增量同步时，不建议选择混合分区表，因为混合分区表中的外部分区数据变更不产生DML日志，DRS增量数据同步无法获取变更信息，会存在数据不一致的风险。
  • 全量+增量任务场景，不支持直接连PDB数据库，用户需要提供CDB的Service Name/SID。
  • 增量同步过程中，支持部分DDL操作。异构数据库DDL转换需要分析语义，考虑语法兼容性，无法做到完美转换，所以目前仅支持部分DDL操作，仅在转换成功并在以下范围内时会进行同步。如果出现其余情况的DDL同步导致的任务异常，需要手动在目标库执行相应的DDL来规避。
    • 表级同步支持alter table add column、alter table drop column、alter table rename column、alter table modify column以及truncate table的基本DDL，不支持默认值等的修改。
  • 表级映射不区分大小写，例如映射为abc与映射为ABC，同步到目标库后均为abc。
  • 任务再编辑增加新表时，请确保新增的表的事务都已提交，否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。
  • 全量同步过程中，DRS会向目标库PostgreSQL写入大量数据，会导致PostgreSQL的wal日志量急剧增长，PostgreSQL的磁盘有被写满的风险。可以通过在全量同步前关闭PostgreSQL的日志备份功能，减少wal日志的生产，同步完成后再将其打开的方式进行规避。
    注意：

    关闭日志备份会影响数据库的灾备恢复，请根据实际情况谨慎选择。

前提条件

  • 已登录数据复制服务控制台。
  • 满足实时同步支持的数据库类型和版本，详情请参见实时同步。

操作步骤

本小节以Oracle到RDS for PostgreSQL的实时同步为示例，介绍如何使用数据复制服务配置实时同步任务。

  1. 在“实时同步管理”页面，单击“创建同步任务”。
  2. 在“同步实例”页面，填选任务名称、描述、同步实例信息，单击“开始创建”。

    • 任务信息
      表3 任务和描述

      参数

      描述

      任务名称

      任务名称在4到50位之间，必须以字母开头，可以包含字母、数字、中划线或下划线，不能包含其他的特殊字符。

      描述

      描述不能超过256位，且不能包含! = < > & ' " \ 特殊字符。
    • 同步实例信息
      表4 同步实例信息

      参数

      描述

      数据流动方向

      选择“入云”。

      源数据库引擎

      选择“Oracle”。

      目标数据库引擎

      选择“PostgreSQL”。

      网络类型

      此处以“公网网络”为示例。目前支持可选“公网网络”、“VPC网络”和“VPN、专线网络”。

      • VPC网络：适合云上同账号同Region数据库之间的同步。
      • 公网网络：适合通过公网网络把其他云下或其他平台的数据库同步到目标数据库，该类型要求数据库绑定弹性公网IP（EIP）。
      • VPN、专线网络：适合通过专线网络，实现其他云下自建数据库与云上数据库同步、云上同Region跨账号、或云上跨Region的数据库之间的同步。

      目标数据库实例

      创建好的RDS for PostgreSQL实例。

      同步实例所在子网

      请选择同步实例所在的子网。也可以单击“查看子网”，跳转至“网络控制台”查看实例所在子网帮助选择。

      默认值为当前所选数据库实例所在子网，请选择有可用IP地址的子网。为确保同步实例创建成功，仅显示已经开启DHCP的子网。

      同步模式
      • 全量+增量

        该模式为数据持续性实时同步，通过全量过程完成目标端数据库的初始化后，增量同步阶段通过解析日志等技术，将源端和目标端数据保持数据持续一致。

        说明：

        选择“全量+增量”同步模式，增量同步可以在全量同步完成的基础上实现数据的持续同步，无需中断业务，实现同步过程中源业务和数据库继续对外提供访问。

      • 全量

        该模式为数据库一次性同步，适用于可中断业务的数据库同步场景，全量同步将用户选择的数据库对象和数据一次性同步至目标端数据库。

    对于创建失败的任务，DRS默认保留3天，超过3天将会自动结束任务。

  3. 在“源库及目标库”页面，同步实例创建成功后，填选源库信息和目标库信息，单击“源库和目标库”处的“测试连接”，分别测试并确定与源库和目标库连通后，勾选协议，单击“下一步”。

    表5 源库信息

    参数

    描述

    IP地址或域名

    源数据库的IP地址或域名。

    说明：

    对于RAC集群，建议使用SCAN IP接入，提高访问性能。

    端口

    源数据库服务端口，可输入范围为1~65535间的整数。

    数据库服务名

    数据库服务名（Service Name/SID），客户端可以通过其连接到Oracle，具体查询方法请参照界面提示。

    PDB名称

    PDB同步仅在Oracle12c及以后的版本支持，该功能为选填项，当需要迁移PDB中的表时开启。

    PDB功能开启后，只能迁移该PDB中的表，并且需要提供CDB的service name/sid及用户名和密码，不需要PDB的用户名和密码。

    数据库用户名

    源数据库的用户名。

    数据库密码

    源数据库的用户名所对应的密码。

    SSL安全连接

    通过该功能，用户可以选择是否开启对迁移链路的加密。如果开启该功能，需要用户上传SSL CA根证书。

    说明：
    • 最大支持上传500KB的证书文件。
    • 如果不启用SSL安全连接，请自行承担数据安全风险。

    源数据库的IP地址或域名、数据库用户名和密码，会被系统加密暂存，直至删除该迁移任务后自动清除。

    表6 目标库信息

    参数

    描述

    数据库实例名称

    默认为创建任务时选择的RDS for PostgreSQL实例，不可进行修改。

    数据库用户名

    目标数据库对应的数据库用户名。

    数据库密码

    数据库用户名和密码将被系统加密暂存，直至该任务删除后清除。支持在任务创建后修改密码。

  4. 在“设置同步”页面，选择同步对象类型和同步对象，单击“下一步”。

    表7 同步模式和对象

    参数

    描述

    流速模式

    流速模式支持限速和不限速，默认为不限速。

    • 限速

      自定义的最大同步速度，全量同步过程中的同步速度将不会超过该速度。

      当流速模式选择了“限速”时，你需要通过流速设置来定时控制同步速度。流速设置通常包括限速时间段和流速大小的设置。默认的限速时间段为“全天限流”，您也可以根据业务需求选择“时段限流”。自定义的时段限流支持最多设置3个定时任务，每个定时任务之间不能存在交叉的时间段，未设定在限速时间段的时间默认为不限速。

      流速的大小需要根据业务场景来设置，不能超过9999MB/s。

    • 不限速
      对同步速度不进行限制，通常会最大化使用源数据库的出口带宽。该流速模式同时会对源数据库造成读消耗，消耗取决于源数据库的出口带宽。比如源数据库的出口带宽为100MB/s，假设高速模式使用了80%带宽，则同步对源数据库将造成80MB/s的读操作IO消耗。
      说明：
      • 限速模式只对全量阶段生效，增量阶段不生效。
      • 您也可以在创建任务后修改流速模式。具体方法请参见修改流速模式。

    同步对象类型

    可选同步表结构、同步数据、同步索引，根据实际需求进行选择要同步内容。

    • 同步数据为必选项。
    • 选则同步表结构的时候目标库不能有同名的表。
    • 不选同步表结构的时候目标库必须有相应的表，且要保证表结构与所选表结构相同。

    同步对象

    左侧框是源数据库对象，右侧框是已经选择的对象，可选表级同步或导入对象文件，您可以根据业务场景选择对应的数据进行同步。选择数据的时候支持搜索，以便您快速选择需要的数据库对象。

    • 选择导入对象文件，具体步骤和说明可参考导入同步对象。
    • 在同步对象右侧已选对象框中，可以使用对象名映射功能进行源数据库和目标数据库中的同步对象映射，具体操作可参考对象名映射。
    说明：
    • 选择对象的时候支持对展开的库进行搜索，以便您快速选择需要的数据库对象。
    • 如果有切换源数据库的操作或源库同步对象变化的情况，请在选择同步对象前单击右上角的，以确保待选择的对象为最新源数据库对象。
    • 当对象名称包含空格时，名称前后的空格不显示，中间如有多个空格只显示一个空格。
    • 选择的同步对象名称中不能包含空格。

  5. 在“预检查”页面，进行同步任务预校验，校验是否可进行。

    • 查看检查结果，如有不通过的检查项，需要修复不通过项后，单击“重新校验”按钮重新进行任务预校验。
    • 预检查完成后，且所有检查项结果均通过时，单击“下一步”。

      所有检查项结果均通过时，如果存在请确认项，需要阅读并确认详情后才可以继续执行下一步操作。

  6. 在“任务确认”页面，设置同步任务的启动时间，并确认同步任务信息无误后，单击“启动任务”，提交同步任务。

    表8 任务启动设置

    参数

    描述

    启动时间

    同步任务的启动时间可以根据业务需求，设置为“立即启动”或“稍后启动”。

    说明：

    预计同步任务启动后，会对源数据库和目标数据库的性能产生影响，建议选择业务低峰期，合理设置同步任务的启动时间。

  7. 同步任务提交后，您可在“实时同步管理”页面，查看并管理自己的任务。

    • 您可查看任务提交后的状态，状态请参见任务状态说明。
    • 在任务列表的右上角，单击刷新列表，可查看到最新的任务状态。
    • 对于未启动、状态为配置中的任务，DRS默认保留3天，超过3天DRS会自动删除后台资源，当前任务状态不变。当用户再次配置时，DRS会重新申请资源，此时DRS任务IP会发生改变。

父主题： 入云