更新时间:2022-05-25 GMT+08:00
分享

Oracle->GaussDB(DWS)

使用技巧(需要人为配合)

推荐提前2-3天启动任务,并配合如下使用技巧和操作要求,以确保任务稳定运行。

  • 基于以下原因,建议您结合定时启动功能,选择业务低峰期开始运行同步任务。
    • 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。
    • 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。
    • 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。
    • DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。
    • 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。
  • 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。

操作要求

针对一些无法预知或人为因素及环境突变导致同步失败的情况,数据复制服务提供以下常见的操作限制,供您在同步过程中参考。
表1 操作要求

类型名称

操作限制(需要人为配合)

注意事项

  • 表2中的环境要求均不允许在同步过程中修改,直至同步结束。
  • 相互关联的数据对象要确保同时同步,避免因关联对象缺失,导致同步失败。
  • 表等对象名同步到目标库后会转换成小写,如ABC会转换为abc。因此增量同步阶段,选择的源库的表中不能存在仅大小写不同的表,可能会导致同步失败。
  • 如有中文、日文等特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库可能会出现乱码。
  • 由于无主键表缺乏行的唯一性标志,网络不稳定时涉及少量重试,表数据存在少量不一致的可能性。
  • Oracle中表结构长度(所有列长字节数之和,char、varchar2等类型字节长度和编码有关)超过65535时,可能导致同步失败。
  • 源库为Oracle RAC环境时,如果需要使用scanip,需要保证scanip与源库的所有vip互通,否则无法通过连接检查。若不使用scanip,可以使用某一节点的vip,其他节点异常不影响同步。
  • 对于Oracle RAC集群,建议使用scanip+ servicename方式创建任务,scanip具有更强的容错性,更好的负载能力,更快的同步体验。
  • 索引同步只同步普通索引,主键等约束在表结构中进行同步。
  • 使用DRS同步表结构的场景下,同一个schema中,同步的表中,表、约束、索引等不能有忽略大小写后的同名对象,比如表"A"中有索引名"inx1", 表B中有索引名"a",表A和索引"a"忽略大小写重名了,会导致结构同步失败。多个schema映射到一个schema的场景,源库的多个schema中也不能包含同名但字母大小写不同的表、约束和索引。
  • 增量同步时,BLOB末尾的0x00、CLOB末尾的空格会被截断。
  • 当Oracle字符集是WE8MSWIN1252时,CLOB列同步到目标库可能出现乱码,建议先修改源库字符集为AL32UTF8再同步数据。
  • 支持源端多张表对GaussDB(DWS)一张表的映射。详细操作可参考Oracle数据库到GaussDB(DWS)同步实例。

操作须知

  • 同步程中,不允许删除连接源和目标数据库的用户的用户名、密码、权限,或修改目标数据库的端口号。
  • 增量同步过程中,支持部分DDL操作。
    • 表级同步支持alter table add column、alter table drop column、alter table modify column以及truncate table的基本DDL。
  • 库级映射和表级映射均不区分大小写,例如映射为abc与映射为ABC,同步到目标库后均为abc。
  • 任务再编辑增加新表时,请确保新增的表的事务都已提交,否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。

环境要求

实时同步对环境有一些特定的要求,请确保环境配置满足以下条件。该类型的要求系统会自动检查,并给出处理建议。
表2 环境要求

类型名称

使用限制(DRS自动检查)

数据库权限设置

  • 源数据库端:
    • 需要具有CREATE SESSION、SELECT ANY TRANSACTION、SELECT ANY TABLE、SELECT ANY DICTIONARY权限和EXECUTE_CATALOG_ROLE角色,若Oracle为12C及以上版本还需要LOGMINING权限。
    • 12c 以上版本 PDB 数据库同步时,需要为用户赋予如下权限:

      在CDB下创建C##前缀的容器数据库用户赋予CREATE SESSION、SELECT ANY DICTIONARY、SELECT ANY TABLE、LOGMINING、EXECUTE_CATALOG_ROLE权限和SET CONTAINER权限(GRANT SET CONTAINER TO C##USERNAME CONTAINER= ALL;)。

      在PDB下为C##前缀用户赋予以下权限(其中RESTRICTED SESSION、SELECT ON SYS.COL$、 SELECT ON SYS.OBJ$权限需要单独赋予):RESTRICTED SESSION、CREATE SESSION、SELECT ANY DICTIONARY、EXECUTE_CATALOG_ROLE、SELECT ANY TRANSACTION、SELECT ANY TABLE、LOGMINING、SELECT ON SYS.COL$、SELECT ON SYS.OBJ$。

  • 目标数据库帐号必须具有每张表的如下权限:INSERT、SELECT、UPDATE、DELETE、CONNECT、CREATE、REFERENCES。

同步对象约束

  • 支持表、索引、约束(主键、空、非空)的同步,不支持视图、外键、存储过程、触发器、函数、事件、虚拟列的同步。
  • 不支持的数据类型有:xml、geometry、point、lineString、polygon、geometrycollection、multipoint、multilinestring、multipolygon。
  • 对于TIMESTAMP WITH TIME ZONE类型,根据目标库时区做转换后不得大于“9999-12-31 23:59:59.999999”。
  • 源库支持to_date和sys_guid函数做默认值。将函数作为default值时,需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况,默认值函数可能会被置空。
  • 不支持默认值含有表达式的函数的表的同步。
  • 不支持同步源库中的临时表。

源数据库要求

  • 库名、表名不支持的字符有:非ASCII字符、“. ”、 “>”、 “<”、 “\”、 “`”、 “|”、 “,”、 “? ”、 “! ”、 “"”和 “'”。
  • 同步过程中,要求源数据库打开归档日志。
  • 源数据库不允许含有空库。

目标数据库要求

  • 目标数据库实例的运行状态必须正常。
  • 目标数据库实例必须有足够的磁盘空间。
  • 增量同步的表要禁用外键,因为DRS并行回放会使得不同表之间的写入顺序和源库不一致,可能会触发外键约束限制,造成同步失败。
分享:

    相关文档

    相关产品

close