将Oracle同步到PostgreSQL

• 本地自建数据库
• ECS自建数据库

• RDS for PostgreSQL

数据库权限设置

• 源数据库端：
  • 全量同步：需要具有CREATE SESSION，SELECT ANY DICTIONARY，针对单表的SELECT权限（GRANT SELECT <userName.tbName> to drsUser;）权限。
  • 全量+增量同步：

    12c及以上版本CDB数据库同步时，需要具有CREATE SESSION，SELECT ANY DICTIONARY，针对单表的SELECT权限（GRANT SELECT <userName.tbName> to drsUser;），EXECUTE_CATALOG_ROLE，SELECT ANY TRANSACTION，LOGMINING，SELECT ON SYS.COL$，SELECT ON SYS.OBJ$，SET CONTAINER（GRANT SET CONTAINER TO <userName> CONTAINER=ALL;）权限。

    12c及以上版本PDB数据库同步时，除了需要具有CREATE SESSION，SELECT ANY DICTIONARY，针对单表的SELECT权限（GRANT SELECT <userName.tbName> to drsUser;），EXECUTE_CATALOG_ROLE，SELECT ANY TRANSACTION，LOGMINING，SELECT ON SYS.COL$，SELECT ON SYS.OBJ$权限，还需要具有CDB的CREATE SESSION，SELECT ANY DICTIONARY，EXECUTE_CATALOG_ROLE，SELECT ANY TRANSACTION，LOGMINING，SET CONTAINER（GRANT SET CONTAINER TO <userName> CONTAINER=ALL;）权限。

    11g及以下版本数据库同步时，需要具有CREATE SESSION，SELECT ANY DICTIONARY，针对单表的SELECT权限（GRANT SELECT <userName.tbName> to drsUser;），EXECUTE_CATALOG_ROLE，SELECT ANY TRANSACTION，SELECT ON SYS.COL$，SELECT ON SYS.OBJ$。

  • 增量同步时，源库Oracle需要开启日志归档模式和最小补充日志，所需同步表必须开启PK/UI或以ALL级别的补充日志，不限制库级或表级补充日志方式，若只开启表级补充日志，重建或者RENAME表后需要重新设置；请确保以上配置在同步过程中始终保持开启状态。
  • 12c及以上版本不支持使用ORACLE_MAINTAINED=Y的用户帐号进行增量同步（system/sys除外），因为该属性的帐号无日志解析权限。
• 目标数据库账号必须具有每张表的如下权限：INSERT、SELECT、UPDATE、DELETE、CONNECT、CREATE、REFERENCES。

同步对象约束

• 支持表、索引、约束（主键、空、非空）的同步，不支持视图、外键、存储过程、触发器、函数、事件、虚拟列的同步。
• 全量阶段不支持bfile，xml、sdo_geometry、urowid、interval（精度大于6位）和自定义类型。
• 增量阶段不支持bfile，xml、interval、sdo_geometry、urowid、timestamp（精度大于6位）和自定义类型。
• 增量阶段源库为Oracle物理备库（PHYSICAL STANDBY）时不支持解析lob类型数据（无法生成数据字典），如果增量同步的表中出现lob类型会导致增量同步异常。
• 对于TIMESTAMP WITH TIME ZONE类型，根据目标库时区做转换后不得大于“9999-12-31 23:59:59.999999”。
• 源库支持to_date和sys_guid函数做默认值。将其他函数作为default值时，需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况，可能会出现以下结果：
  • 默认值函数可能会被置空。
  • 创建表失败，导致对象对比不一致或者任务失败。
• 如果表中只有LOB字段，可能出现数据不一致性情况。
• 如果Oracle中使用LOB类型各自的empty函数写入数据时，通过JDBC查询出来的值是空字符串，写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。
• 针对无主键且无索引的表，非大字段的列必须大于3列，否则会因为无法全列匹配导致增量异常。
• 不支持默认值含有表达式的函数的表的同步。
• 不支持同步源库中的临时表。
• 选择手动创建表结构时，目标库中的时间类型是否带有时区需要与源库中保持一致，否则可能会因为时区转换导致时间数据不一致。

源数据库要求

• 库名、表名不支持的字符有：非ASCII字符、“. ”、 “>”、 “<”、 “\”、 “`”、 “|”、 “,”、 “? ”、 “! ”、 “"”和 “'”。
• 不支持选择源数据库的空库进行同步。
• 目前仅支持同步如下字符集：ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8MSWIN1252、WE8ISO8859P1、WE8ISO8859P2、WE8ISO8859P4、WE8ISO8859P5、WE8ISO8859P7、WE8ISO8859P9、WE8ISO8859P13、WE8ISO8859P15。

目标数据库要求

• 目标数据库实例的运行状态必须正常。
• 目标数据库实例必须有足够的磁盘空间。
• 增量同步的表要禁用外键，因为DRS并行回放会使得不同表之间的写入顺序和源库不一致，可能会触发外键约束限制，造成同步失败。
• 支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。
  • 目标端多的列要求非空且没有默认值，源端insert数据，同步到目标端后多的列为null，不符合目标端要求。
  • 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。

操作须知

• 相互关联的数据对象要确保同时同步，避免因关联对象缺失，导致同步失败。
• 表等对象名同步到目标库后会转换成小写，如ABC会转换为abc。因此增量同步阶段，选择的源库的表中不能存在仅大小写不同的表，可能会导致同步失败。
• 如有特殊字符，业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致，否则目标库可能会出现乱码。
• 不使用DRS同步表结构（自建表结构）的场景下，无主键表如果因表结构问题导致任务失败，修复表结构后续传无法恢复，需要重置任务。
• 同步表结构时，如果目标库存在与源库同名约束会导致建表失败。
• 使用DRS同步表结构的场景下，同一个schema中，同步的表中，表、约束、索引等不能有忽略大小写后的同名对象，比如表"A"中有索引名"inx1"， 表B中有索引名"a"，表A和索引"a"忽略大小写重名了，会导致结构同步失败。多个schema映射到一个schema的场景，源库的多个schema中也不能包含同名但字母大小写不同的表、约束和索引。
• 当Oracle字符集是WE8MSWIN1252时，CLOB列同步到目标库可能出现乱码，建议先修改源库字符集为AL32UTF8再同步数据。
• Oracle中表结构长度（所有列长字节数之和，char、varchar2等类型字节长度和编码有关）超过65535时，可能导致同步失败。
• Oracle归档日志文件大小必须大于单条数据最大值，避免单条数据日志跨文件（超过2个日志文件）导致的增量数据解析异常。
• 对于Oracle RAC集群，建议使用SCAN IP+ SERVICE_NAMES方式创建任务，SCAN IP具有更强的容错性，更好的负载能力，更快的同步体验。
• 源库为Oracle RAC时，如果需要使用SCAN IP配置DRS任务，需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通（Oracle内部机制），否则无法通过连通性检查。若不使用SCAN IP，可以使用某一节点的VIP，这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。
• 若源库为RAC，增量同步首次启动时所有RAC节点必须正常在线，否则增量启动会出现异常。
• 若源库为RAC，增量同步时，不支持增加、减少节点数量，避免导致增量同步异常（为保证数据的强一致性）。
• 同步过程中，不允许删除连接源和目标数据库的用户的用户名、密码、权限，或修改目标数据库的端口号。
• 同步过程中，禁止对Oracle源库做resetlogs操作，否则会导致数据无法同步且任务无法恢复。
• 同步过程中，不支持LOB类型的rollback操作，否则会导致同步任务失败。
• DRS全量同步表结构时，源库中的char、varchar2类型长度在目标库会按照字节长自动扩大（因为目标库为字节长），至少扩大1.5倍。扩大倍数和源库目标库的字符集有关，例如同为UTF8的情况下，默认扩大3倍，同为GBK的情况下，默认扩大2倍。
• 全量同步分区表的结构时会将该对象转为非分区的普通表，增量同步时，源库跟分区表相关的操作，在目标库执行可能会失败。
• 索引同步只同步普通索引，主键等约束在表结构中进行同步。
• 增量同步时，BLOB末尾的0x00、CLOB末尾的空格会被截断。
• 增量同步过程中，支持部分DDL操作。
  • 表级同步支持alter table add column、alter table drop column、alter table rename column、alter table modify column以及truncate table的基本DDL，不支持默认值等的修改。
• 表级映射不区分大小写，例如映射为abc与映射为ABC，同步到目标库后均为abc。
• 任务再编辑增加新表时，请确保新增的表的事务都已提交，否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。
• 全量同步过程中，DRS会向目标库PostgreSQL写入大量数据，会导致PostgreSQL的wal日志量急剧增长，PostgreSQL的磁盘有被写满的风险。可以通过在全量同步前关闭PostgreSQL的日志备份功能，减少wal日志的生产，同步完成后再将其打开的方式进行规避。
  注意：

  关闭日志备份会影响数据库的灾备恢复，请根据实际情况谨慎选择。