支持的源和目标数据库
表1 支持的数据库
源数据库 |
目标数据库 |
- 本地自建数据库(Oracle 10g、11g、12c、18c、19c、21c版本)
- ECS自建数据库(Oracle 10g、11g、12c、18c、19c、21c版本)
|
|
支持的同步对象范围
在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表2。DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查。
表2 支持的同步对象
类型名称 |
使用须知 |
同步对象范围 |
- 同步对象选择维度:支持表级同步,或者通过文件导入对象。
- 支持的同步对象:
- 支持库、表结构、主键、唯一键、普通索引、表数据的同步,其他数据库对象暂不支持,如存储过程、触发器、函数、序列、包、同义词、用户等。
- 全量阶段不支持bfile,xml、sdo_geometry、urowid、interval(精度大于6位)和自定义类型。
- 增量阶段不支持bfile,xml、interval、sdo_geometry、urowid、timestamp(精度大于6位)和自定义类型。
- 增量阶段源库为Oracle物理备库(PHYSICAL STANDBY)时不支持解析lob类型数据(无法生成数据字典),如果增量同步的表中出现lob类型会导致增量同步异常。
- 增量阶段不支持Oracle字符集扩展的字符,标准字符集无法解析Oracle自定义扩展字符。
- 相互关联的数据对象要确保同时同步,避免因关联对象缺失,导致同步失败。常见的关联关系:主外键关联表等。
- 不支持同步表结构中的partition,分区表在目的库同步为非分区表。
- 不支持默认值含有表达式的函数的表的同步。
- 不支持同步源库中的临时表。
- 不支持选择源数据库的空库进行同步。
- 不支持同步源库中有虚拟列的表。
- 如果表中只有LOB字段,可能出现数据不一致性情况。
- 如果Oracle中使用LOB类型各自的empty函数写入数据时,通过JDBC查询出来的值是空字符串,写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。
- 针对无主键且无索引的表,非大字段的列必须大于3列,否则会因为无法全列匹配导致增量异常。
说明:
- 库名、表名等数据库对象名称支持英文字符、“#”、“$”、“_”等符号, DRS 不支持非ASCII字符、“. ”、 “>”、 “<”、 “\”、 “`”、 “|”、 “,”、 “? ”、 “! ”、 “"”和 “'”等字符。
- 对象名同步到目标库后会转换成小写,为避免同步失败,选择的源库表中不能存在表名称字母相同但大小写不同的表。
|
数据库账号权限要求
在使用DRS进行同步时,连接源库和目标库的数据库账号需要满足以下权限要求,才能启动实时同步任务。不同类型的同步任务,需要的账号权限也不同,详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查,并给出处理建议。
- 建议创建单独用于DRS任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。
- 连接源或目标数据库的账号密码修改后,请尽快修改DRS任务中的连接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。
表3 数据库账号权限
类型名称 |
全量同步 |
增量、全量+增量同步 |
源数据库连接账号 |
需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECT ON <userName.tbName> to drsUser;)。 |
- 增量同步时,源库Oracle需要开启日志归档模式和最小补充日志,所需同步表必须开启PK/UI或以ALL级别的补充日志,不限制库级或表级补充日志方式,如果只开启表级补充日志,重建或者RENAME表后需要重新设置;请确保以上配置在同步过程中始终保持开启状态。
- 12c及以上版本不支持使用ORACLE_MAINTAINED=Y的用户账号进行增量同步(system/sys除外),因为该属性的账号无日志解析权限
|
目标数据库连接账号 |
必须拥有如下权限:SELECT、INSERT、CREATE、DROP、UPDATE、ALTER、DELETE、INDEX。 |
使用建议
- DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。
- 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。
使用须知
DRS全量+增量同步过程一般包含四个阶段:任务启动阶段、全量阶段、增量阶段、结束任务阶段(单全量任务则包含三个阶段)。为了确保同步各个阶段的平顺,在创建同步任务前,请务必阅读以下使用须知。
表4 使用须知
类型名称 |
使用和操作限制 |
任务启动前须知 |
- 源数据库参数要求:
- 目前仅支持同步如下字符集:ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8MSWIN1252、WE8ISO8859P1、WE8ISO8859P2、WE8ISO8859P4、WE8ISO8859P5、WE8ISO8859P7、WE8ISO8859P9、WE8ISO8859P13、WE8ISO8859P15。
- 源数据库对象要求:
- 源数据库中的库名或映射后的名称不允许以ib_logfile开头,也不能为ib_buffer_pool、ib_doublewrite、ibdata1、ibtmp1。
- 源数据库支持to_date和sys_guid函数做默认值。将其他函数作为default值时,需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况,可能会出现以下结果:
默认值函数可能会被置空。 创建表失败,导致对象对比不一致或者任务失败。
- Oracle单行记录不能超过8K(lob、long类型除外,会自动转换成MySQL的text、blob类型),原因是MySQL innodb引擎限制单行大小不能超过8K(text、blob类型除外)。
- 不建议以字符串类型作为主键或唯一键,因为Oracle的字符串作为主键、唯一键时区分空格,而MySQL不区分,可能导致数据不一致和死锁问题。
- 对于Oracle的binary_float或者binary_double类型,MySQL中不支持设置Nan、Inf、-Inf三种值,DRS默认会将这三种值转为0保存。
- Oracle的check约束同步到MySQL会失效,原因是MySQL不支持check约束。
- Oracle中建议列名不要取名AUTO_PK_ROW_ID,原因是这个列名在MySQL5.7中是保留列名,无法创建出来。
- Oracle中number(p, s)字段的精度不要超过p: [1, 38], s:[p-65, min(p, 30)]的精度表示范围。其中,s取值依赖于p的取值变化,即下限为p-65, 上限为p或30中取最小值。例如:当p=1, s的取值范围是[-64, 1]。当p=38, s取值范围是[-27, 30]。int字段的值不要超过(65,0)的精度表示范围。原因是MySQL数字的表示范围比Oracle小。
- Oracle归档日志文件大小必须大于单条数据最大值,避免单条数据日志跨文件(超过2个日志文件)导致的增量数据解析异常。
- 默认值不支持default user,MySQL没有对应的语法。
- 目标库参数要求:
- DRS同步时会有大量数据写入目标库,目标库max_allowed_packet 参数过小会导致无法写入,建议将目标库max_allowed_packet参数值设置为大于100MB。
- 目标库对象要求:
- 其他使用须知:
- 数据类型不兼容时,可能引起同步失败。
- 由于无主键表缺乏行的唯一性标志,网络不稳定时涉及少量重试,表数据存在少量不一致的可能性。
- 如有特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库会出现乱码。
- 在创建DRS任务之前,如果目标数据库实例开启并设置了SQL限流规则,可能会导致DRS任务失败。
- Oracle中表结构长度(所有列长字节数之和,char、varchar2等类型字节长度和编码有关)超过65535时,可能导致同步失败。
- Oracle中表结构同步到MySQL后表的字符集为UTF8MB4。
- 当Oracle字符集是WE8MSWIN1252时,CLOB列同步到目标库可能出现乱码,建议先修改源库字符集为AL32UTF8再同步数据。
- 当使用PDB数据库同步时,由于Oracle LogMiner组件的限制,增量同步时必须打开全部PDB。
- Oralce 12.2及以上版本,由于Oracle LogMiner组件的限制,增量同步不支持表名或列名超过30个字符。
- 对于Oracle RAC集群,建议使用SCAN IP+ SERVICE_NAMES方式创建任务,SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。
- 源库为Oracle RAC时,如果需要使用SCAN IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。如果不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。
- 由于Oracle与MySQL的部分语法有明显区别,结构同步无法完全保证支持全部语法的转换,包括但不限于函数,表达式,依赖的系统表等。所以在同步过程中,会有在Oracle上存在,在MySQL中没有直接对应的语法,或者MySQL中有对应的语法,但当前还未适配转换的情况,这样会导致结构同步失败。这时,需要手工在目标数据库创建表结构。
- DRS全量同步表结构时,源库中的char、varchar2类型长度在目标库会按照字节长自动扩大(因为目标库为字节长),至少扩大1.5倍。扩大倍数和源库目标库的字符集有关,例如同为UTF8的情况下,默认扩大3倍,同为GBK的情况下,默认扩大2倍。
- 全量同步分区表的结构时会将该对象转为非分区的普通表,增量同步时,源库跟分区表相关的操作,在目标库执行可能会失败。
- 增量同步时,BLOB末尾的0x00、CLOB末尾的空格会被截断。
- 增量同步时,不建议选择混合分区表,因为混合分区表中的外部分区数据变更不产生DML日志,DRS增量数据同步无法获取变更信息,会存在数据不一致的风险。
- 全量+增量或单增量任务场景,不支持直接连PDB数据库,用户需要提供CDB的Service Name/SID。
- lob类型及扩展字符类型(字节长度超过4000)不建议作为增量数据过滤条件,Oracle日志中可能出现不记录update旧值的情况。
|
全量同步阶段须知 |
- 任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。
- 同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。
- 同步过程中,不允许对正在同步中的目标数据库进行修改操作(包括但不限于DDL、DML操作)。
- 同步过程中,不允许对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。
- 同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。
- 同步过程中,不支持修改源数据库Oracle用户名(SCHEMA名),包括11.2.0.2之前版本通过修改USER$字典表方式及11.2.0.2之后通过ALTER USER username RENAME TO new_username修改SCHEMA名称的场景。
|
增量同步阶段须知 |
- 同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。
- 同步过程中,不允许对正在同步中的目标数据库进行修改操作(包括但不限于DDL、DML操作)。
- 同步过程中,不允许对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。
- 同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。
- 同步过程中,不支持修改源数据库Oracle用户名(SCHEMA名),包括11.2.0.2之前版本通过修改USER$字典表方式及11.2.0.2之后通过ALTER USER username RENAME TO new_username修改SCHEMA名称的场景。
- 同步过程中,请勿修改源库或目标库表中的char类型字段为varchar,由于Oracle和MySQL表现不同,产生的空格可能会导致数据对比不一致。
- 同步过程中,支持部分DDL操作。异构数据库DDL转换需要分析语义,考虑语法兼容性,无法做到完美转换,所以目前仅支持部分DDL操作,仅在转换成功并在以下范围内时会进行同步。如果出现其余情况的DDL同步导致的任务异常,需要手动在目标库执行相应的DDL来规避。
- 表级同步支持alter table add column、alter table drop column、alter table rename column、alter table modify column以及truncate table的基本DDL,不支持默认值等的修改。
- 库级同步支持create table(表内定义不能包含函数)。
- DDL中的对象不能是目标库的关键字,比如index,where等。目标库MySQL关键字可参考MySQL官网文档。
- 目标库为8.0以下版本时,不支持alter table rename column。
- 增量DDL不支持全角等特殊字符。
- 如果源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。
- 如果源库为RAC,增量同步时,不支持增加、减少节点数量,避免导致增量同步异常(为保证数据的强一致性)。
- 表的对象名同步到目标库后会转换成小写,如ABC和abc。因此增量同步阶段,选择的源库的表中不能存在仅大小写不同的表,否则会导致同步失败。
- 任务再编辑增加新表时,请确保新增的表的事务都已提交,否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。
|
前提条件
- 已登录数据复制服务控制台。
- 满足实时同步支持的数据库类型和版本,详情请参见实时同步。
操作步骤
本小节以Oracle到RDS for MySQL的实时同步为示例,介绍如何使用数据复制服务配置实时同步任务。
- 在“实时同步管理”页面,单击“创建同步任务”。
- 在“同步实例”页面,填选任务名称、描述、同步实例信息,单击“开始创建”。
- 任务信息
表5 任务和描述
参数 |
描述 |
任务名称 |
任务名称在4到50位之间,必须以字母开头,可以包含字母、数字、中划线或下划线,不能包含其他的特殊字符。 |
描述 |
描述不能超过256位,且不能包含! = < > & ' " \ 特殊字符。 |
- 同步实例信息
表6 同步实例信息
参数 |
描述 |
数据流动方向 |
选择“入云”。 |
源数据库引擎 |
选择“Oracle”。 |
目标数据库引擎 |
选择“MySQL”。 |
网络类型 |
此处以“公网网络”为示例。目前支持可选“公网网络”、“VPC网络”和“VPN、专线网络”。
- VPC网络:适合云上同账号同Region数据库之间的同步。
- 公网网络:适合通过公网网络把其他云下或其他平台的数据库同步到目标数据库,该类型要求数据库绑定弹性公网IP(EIP)。
- VPN、专线网络:适合通过专线网络,实现其他云下自建数据库与云上数据库同步、云上同Region跨账号、或云上跨Region的数据库之间的同步。
|
目标数据库实例 |
创建好的RDS for MySQL实例。 |
同步实例所在子网 |
请选择同步实例所在的子网。也可以单击“查看子网”,跳转至“网络控制台”查看实例所在子网帮助选择。 默认值为当前所选数据库实例所在子网,请选择有可用IP地址的子网。为确保同步实例创建成功,仅显示已经开启DHCP的子网。 |
同步模式 |
- 全量+增量
该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。
说明:
选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。
- 全量
该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将用户选择的数据库对象和数据一次性同步至目标端数据库。
- 增量
增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。
|
对于创建失败的任务,DRS默认保留3天,超过3天将会自动结束任务。
- 在“源库及目标库”页面,同步实例创建成功后,填选源库信息和目标库信息,单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”。
表7 源库信息
参数 |
描述 |
IP地址或域名 |
源数据库的IP地址或域名。
说明:
对于RAC集群,建议使用SCAN IP接入,提高访问性能。
|
端口 |
源数据库服务端口,可输入范围为1~65535间的整数。 |
数据库服务名 |
数据库服务名(Service Name/SID),客户端可以通过其连接到Oracle,具体查询方法请参照界面提示。 |
PDB名称 |
PDB同步仅在Oracle12c及以后的版本支持,该功能为选填项,当需要迁移PDB中的表时开启。 PDB功能开启后,只能迁移该PDB中的表,并且需要提供CDB的service name/sid及用户名和密码,不需要PDB的用户名和密码。 |
数据库用户名 |
源数据库的用户名。 |
数据库密码 |
源数据库的用户名所对应的密码。 |
SSL安全连接 |
如启用SSL安全连接,请在源库开启SSL,并确保相关配置正确后上传SSL证书。
说明:
- 最大支持上传500KB的证书文件。
- 如果不启用SSL安全连接,请自行承担数据安全风险。
|
源数据库的IP地址或域名、数据库用户名和密码,会被系统加密暂存,直至删除该迁移任务后自动清除。
表8 目标库信息
参数 |
描述 |
数据库实例名称 |
默认为创建迁移任务时选择的RDS for MySQL实例,不可进行修改。 |
数据库用户名 |
目标数据库对应的数据库用户名。 |
数据库密码 |
数据库用户名和密码将被系统加密暂存,直至该任务删除后清除。支持在任务创建后修改密码。 |
SSL安全连接 |
如启用SSL安全连接,请在目标库开启SSL,并确保相关配置正确后上传SSL证书。
说明:
- 最大支持上传500KB的证书文件。
- 如果不启用SSL安全连接,请自行承担数据安全风险。
|
- 在“设置同步”页面,选择同步对象类型和同步对象,单击“下一步”。
表9 同步模式和对象
参数 |
描述 |
流速模式 |
流速模式支持限速和不限速,默认为不限速。
- 限速
自定义的最大同步速度,全量同步过程中的同步速度将不会超过该速度。 当流速模式选择了“限速”时,你需要通过流速设置来定时控制同步速度。流速设置通常包括限速时间段和流速大小的设置。默认的限速时间段为“全天限流”,您也可以根据业务需求选择“时段限流”。自定义的时段限流支持最多设置3个定时任务,每个定时任务之间不能存在交叉的时间段,未设定在限速时间段的时间默认为不限速。 流速的大小需要根据业务场景来设置,不能超过9999MB/s。
- 不限速
对同步速度不进行限制,通常会最大化使用源数据库的出口带宽。该流速模式同时会对源数据库造成读消耗,消耗取决于源数据库的出口带宽。比如源数据库的出口带宽为100MB/s,假设高速模式使用了80%带宽,则同步对源数据库将造成80MB/s的读操作IO消耗。
说明:
- 限速模式只对全量阶段生效,增量阶段不生效。
- 您也可以在创建任务后修改流速模式。具体方法请参见修改流速模式。
|
同步对象类型 |
可选同步表结构、同步数据、同步索引,根据实际需求进行选择要同步内容。
- 同步数据为必选项。
- 选则同步表结构的时候目标库不能有同名的表。
- 不选同步表结构的时候目标库必须有相应的表,且要保证表结构与所选表结构相同。
|
同步对象 |
左侧框是源数据库对象,右侧框是已经选择的对象,可选表级同步或导入对象文件,您可以根据业务场景选择对应的数据进行同步。选择数据的时候支持搜索,以便您快速选择需要的数据库对象。
- 在同步对象右侧已选对象框中,可以使用对象名映射功能进行源数据库和目标数据库中的同步对象映射,具体操作可参考对象名映射。
- 选择导入对象文件,具体步骤和说明可参考导入同步对象。
说明:
- 选择对象的时候支持对展开的库进行搜索,以便您快速选择需要的数据库对象。
- 如果有切换源数据库的操作或源库同步对象变化的情况,请在选择同步对象前单击右上角的
,以确保待选择的对象为最新源数据库对象。
- 当对象名称包含空格时,名称前后的空格不显示,中间如有多个空格只显示一个空格。
- 选择的同步对象名称中不能包含空格。
|
- 当2中同步模式选择“增量”时,支持在“高级设置”页,配置增量运行参数,完成后单击“下一步”。
表10 增量抓取设置
参数名 |
功能描述 |
默认值 |
日志抓取并发数 |
读取源库日志的并发线程数,每个线程以日志文件为单位,按日志文件的序列顺序进行读取,可配范围1-16。 |
2 |
抓取启动位点 |
指定抓取启动的scn点,这个scn号要根据实际的需求进行设计,它由两部分组成,分别是抓取的起始scn号,和有效数据的scn号,具体的解释需要参考Oracle的scn相关概念。 |
空,抓取默认采用数据库的当前scn作为启动点。 |
表11 增量回放设置
参数名 |
功能描述 |
默认值 |
回放任务并发数 |
向目标库写入数据的并发线程数,可配范围1-64。 |
64 |
冲突策略 |
|
覆盖。 |
- 在“数据加工”页,可对同步数据进行过滤,完成后单击“下一步”,详细可参考”数据加工“。
- 在“预检查”页面,进行同步任务预校验,校验是否可进行。
- 查看检查结果,如有不通过的检查项,需要修复不通过项后,单击“重新校验”按钮重新进行任务预校验。
- 预检查完成后,且所有检查项结果均通过时,单击“下一步”。
所有检查项结果均通过时,如果存在请确认项,需要阅读并确认详情后才可以继续执行下一步操作。
- 在“任务确认”页面,设置同步任务的启动时间,并确认同步任务信息无误后,单击“启动任务”,提交同步任务。
表12 任务启动设置
参数 |
描述 |
启动时间 |
同步任务的启动时间可以根据业务需求,设置为“立即启动”或“稍后启动”。
说明:
预计同步任务启动后,会对源数据库和目标数据库的性能产生影响,建议选择业务低峰期,合理设置同步任务的启动时间。
|
- 同步任务提交后,您可在“实时同步管理”页面,查看并管理自己的任务。
- 您可查看任务提交后的状态,状态请参见任务状态说明。
- 在任务列表的右上角,单击
刷新列表,可查看到最新的任务状态。
- 对于未启动、状态为配置中的任务,DRS默认保留3天,超过3天DRS会自动删除后台资源,当前任务状态不变。当用户再次配置时,DRS会重新申请资源,此时DRS任务IP会发生改变。