将Oracle同步到MySQL_数据复制服务 DRS

支持的源和目标数据库

表1 支持的数据库
源数据库	目标数据库
本地自建数据库（Oracle 10g、11g、12c、18c、19c版本） ECS自建数据库（Oracle 10g、11g、12c、18c、19c版本）	RDS for MySQL

支持的同步对象范围

在使用DRS进行同步时，不同类型的同步任务，支持的同步对象范围不同，详细情况可参考表2。DRS会根据用户选择，在“预检查”阶段对同步对象进行自动检查。

表2 支持的同步对象
类型名称	使用须知
同步对象范围	同步对象选择维度：支持表级同步。支持的同步对象：支持库、表结构、主键、唯一键、普通索引、表数据的同步，其他数据库对象暂不支持，如存储过程、触发器、函数、序列、包、同义词、用户等。全量阶段不支持bfile，xml、sdo_geometry、urowid、interval（精度大于6位）和自定义类型。增量阶段不支持bfile，xml、interval、sdo_geometry、urowid、timestamp（精度大于6位）和自定义类型。增量阶段源库为Oracle物理备库（PHYSICAL STANDBY）时不支持解析lob类型数据（无法生成数据字典），如果增量同步的表中出现lob类型会导致增量同步异常。相互关联的数据对象要确保同时同步，避免因关联对象缺失，导致同步失败。常见的关联关系：主外键关联表等。不支持同步表结构中的partition，分区表在目的库同步为非分区表。不支持默认值含有表达式的函数的表的同步。不支持同步源库中的临时表。不支持选择源数据库的空库进行同步。如果表中只有LOB字段，可能出现数据不一致性情况。如果Oracle中使用LOB类型各自的empty函数写入数据时，通过JDBC查询出来的值是空字符串，写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。针对无主键且无索引的表，非大字段的列必须大于3列，否则会因为无法全列匹配导致增量异常。说明：库名、表名等数据库对象名称支持英文字符、“#”、“$”、“_”等符号， DRS 不支持非ASCII字符、“. ”、 “>”、 “<”、 “\”、 “`”、 “\|”、 “,”、 “? ”、 “! ”、 “"”和 “'”等字符。对象名同步到目标库后会转换成小写，为避免同步失败，选择的源库表中不能存在表名称字母相同但大小写不同的表。

数据库账号权限要求

在使用DRS进行同步时，连接源库和目标库的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查，并给出处理建议。

建议创建单独用于DRS任务连接的数据库帐号，避免因为数据库帐号密码修改，导致的任务连接失败。
连接源或目标数据库的帐号密码修改后，请尽快修改DRS任务中的连接信息，避免任务连接失败后自动重试，导致数据库帐号被锁定影响使用。

表3 数据库账号权限
类型名称	全量同步	全量+增量同步
源数据库连接账号	需要具有CREATE SESSION，SELECT ANY DICTIONARY，针对单表的SELECT（GRANT SELECT <userName.tbName> to drsUser;）权限。	12c及以上版本CDB数据库同步时，需要具有CREATE SESSION，SELECT ANY DICTIONARY，针对单表的SELECT权限（GRANT SELECT <userName.tbName> to drsUser;），EXECUTE_CATALOG_ROLE，SELECT ANY TRANSACTION，LOGMINING，SELECT ON SYS.COL$，SELECT ON SYS.OBJ$，SET CONTAINER（GRANT SET CONTAINER TO <userName> CONTAINER=ALL;）权限。 12c及以上版本PDB数据库同步时，除了需要具有CREATE SESSION，SELECT ANY DICTIONARY，针对单表的SELECT权限（GRANT SELECT <userName.tbName> to drsUser;），EXECUTE_CATALOG_ROLE，SELECT ANY TRANSACTION，LOGMINING，SELECT ON SYS.COL$，SELECT ON SYS.OBJ$权限，还需要具有CDB的CREATE SESSION，SELECT ANY DICTIONARY，EXECUTE_CATALOG_ROLE，SELECT ANY TRANSACTION，LOGMINING，SET CONTAINER（GRANT SET CONTAINER TO <userName> CONTAINER=ALL;）权限。 11g及以下版本数据库同步时，需要具有CREATE SESSION，SELECT ANY DICTIONARY，针对单表的SELECT权限（GRANT SELECT <userName.tbName> to drsUser;），EXECUTE_CATALOG_ROLE，SELECT ANY TRANSACTION，SELECT ON SYS.COL$，SELECT ON SYS.OBJ$。增量同步时，源库Oracle需要开启日志归档模式和最小补充日志，所需同步表必须开启PK/UI或以ALL级别的补充日志，不限制库级或表级补充日志方式，若只开启表级补充日志，重建或者RENAME表后需要重新设置；请确保以上配置在同步过程中始终保持开启状态。 12c及以上版本不支持使用ORACLE_MAINTAINED=Y的用户帐号进行增量同步（system/sys除外），因为该属性的帐号无日志解析权限。
目标数据库连接账号	必须拥有如下权限：SELECT、INSERT、CREATE、DROP、UPDATE、ALTER、DELETE、INDEX。

使用建议

DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。
为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。

数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。
基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。
- 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。
- 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。
- DRS并发读取数据库，会占用大约6-10个session连接数，需要考虑该连接数对业务的影响。
- 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。
数据对比
 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

使用须知

DRS全量+增量同步过程一般包含四个阶段：任务启动阶段、全量阶段、增量阶段、结束任务阶段（单全量任务则包含三个阶段）。为了确保同步各个阶段的平顺，在创建同步任务前，请务必阅读以下使用须知。

表4 使用须知
类型名称	使用和操作限制
任务启动前须知	源数据库参数要求：目前仅支持同步如下字符集：ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8MSWIN1252、WE8ISO8859P1、WE8ISO8859P2、WE8ISO8859P4、WE8ISO8859P5、WE8ISO8859P7、WE8ISO8859P9、WE8ISO8859P13、WE8ISO8859P15。源数据库对象要求：源数据库中的库名或映射后的名称不允许以ib_logfile开头，也不能为ib_buffer_pool、ib_doublewrite、ibdata1、ibtmp1。源数据库支持to_date和sys_guid函数做默认值。将其他函数作为default值时，需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况，可能会出现以下结果：默认值函数可能会被置空。创建表失败，导致对象对比不一致或者任务失败。 Oracle单行记录不能超过8K（lob、long类型除外，会自动转换成MySQL的text、blob类型），原因是MySQL innodb引擎限制单行大小不能超过8K（text、blob类型除外）。不建议以字符串类型作为主键或唯一键，因为Oracle的字符串作为主键、唯一键时区分空格，而MySQL不区分，可能导致数据不一致和死锁问题。对于Oracle的binary_float或者binary_double类型，MySQL中不支持设置Nan、Inf、-Inf三种值，DRS默认会将这三种值转为0保存。 Oracle的check约束同步到MySQL会失效，原因是MySQL不支持check约束。 Oracle中建议列名不要取名AUTO_PK_ROW_ID，原因是这个列名在MySQL5.7中是保留列名，无法创建出来。 Oracle中number(p, s)字段的精度不要超过p: [1, 38], s:[p-65, min(p, 30)]的精度表示范围。其中，s取值依赖于p的取值变化，即下限为p-65, 上限为p或30中取最小值。例如：当p=1, s的取值范围是[-64, 1]。当p=38, s取值范围是[-27, 30]。int字段的值不要超过（65，0）的精度表示范围。原因是MySQL数字的表示范围比Oracle小。 Oracle归档日志文件大小必须大于单条数据最大值，避免单条数据日志跨文件（超过2个日志文件）导致的增量数据解析异常。默认值不支持default user，MySQL没有对应的语法。目标库参数要求： DRS同步时会有大量数据写入目标库，目标库max_allowed_packet 参数过小会导致无法写入，建议将目标库max_allowed_packet参数值设置为大于100MB。目标库对象要求：源库和目标库时区设置必须一致。选择同步表结构时，目标数据库不能存在待同步数据库。目标数据库需要有足够的磁盘空间，约为源库空间大小的1.5倍。目标数据库版本小于5.7.7时，源库单个索引的全部列的长度不得超过767，反之则不得超过3072。增量同步的表要禁用外键，因为DRS并行回放会使得不同表之间的写入顺序和源库不一致，可能会触发外键约束限制，造成同步失败。支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。目标端多的列要求非空且没有默认值，源端insert数据，同步到目标端后多的列为null，不符合目标端要求。目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。其他使用须知：数据类型不兼容时，可能引起同步失败。由于无主键表缺乏行的唯一性标志，网络不稳定时涉及少量重试，表数据存在少量不一致的可能性。如有特殊字符，业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致，否则目标库会出现乱码。 Oracle中表结构长度（所有列长字节数之和，char、varchar2等类型字节长度和编码有关）超过65535时，可能导致同步失败。 Oracle中表结构同步到MySQL后表的字符集为UTF8MB4。当Oracle字符集是WE8MSWIN1252时，CLOB列同步到目标库可能出现乱码，建议先修改源库字符集为AL32UTF8再同步数据。对于Oracle RAC集群，建议使用SCAN IP+ SERVICE_NAMES方式创建任务，SCAN IP具有更强的容错性，更好的负载能力，更快的同步体验。源库为Oracle RAC时，如果需要使用SCAN IP配置DRS任务，需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通（Oracle内部机制），否则无法通过连通性检查。若不使用SCAN IP，可以使用某一节点的VIP，这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。由于Oracle与MySQL的部分语法有明显区别，结构同步无法完全保证支持全部语法的转换，包括但不限于函数，表达式，依赖的系统表等。所以在同步过程中，会有在Oracle上存在，在MySQL中没有直接对应的语法，或者MySQL中有对应的语法，但当前还未适配转换的情况，这样会导致结构同步失败。这时，需要手工在目标数据库创建表结构。 DRS全量同步表结构时，源库中的char、varchar2类型长度在目标库会按照字节长自动扩大（因为目标库为字节长），至少扩大1.5倍。扩大倍数和源库目标库的字符集有关，例如同为UTF8的情况下，默认扩大3倍，同为GBK的情况下，默认扩大2倍。全量同步分区表的结构时会将该对象转为非分区的普通表，增量同步时，源库跟分区表相关的操作，在目标库执行可能会失败。增量同步时，BLOB末尾的0x00、CLOB末尾的空格会被截断。
全量同步阶段须知	任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。同步过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。同步过程中，不允许对正在同步中的目标数据库进行修改操作（包括但不限于DDL、DML操作）。同步过程中，不允许对Oracle源库做resetlogs操作，否则会导致数据无法同步且任务无法恢复。同步过程中，不支持LOB类型的rollback操作，否则会导致同步任务失败。
增量同步阶段须知	同步过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。同步过程中，不允许对正在同步中的目标数据库进行修改操作（包括但不限于DDL、DML操作）。同步过程中，不允许对Oracle源库做resetlogs操作，否则会导致数据无法同步且任务无法恢复。同步过程中，不支持LOB类型的rollback操作，否则会导致同步任务失败。同步过程中，请勿修改源库或目标库表中的char类型字段为varchar，由于Oracle和MySQL表现不同，产生的空格可能会导致数据对比不一致。同步过程中，支持部分DDL操作。表级同步支持alter table add column、alter table drop column、alter table rename column、alter table modify column以及truncate table的基本DDL，不支持默认值等的修改。 DDL中的对象不能是目标库的关键字，比如index，where等。目标库MySQL关键字可参考MySQL官网文档。目标库为8.0以下版本时，不支持alter table rename column。增量DDL不支持全角等特殊字符。若源库为RAC，增量同步首次启动时所有RAC节点必须正常在线，否则增量启动会出现异常。若源库为RAC，增量同步时，不支持增加、减少节点数量，避免导致增量同步异常（为保证数据的强一致性）。表的对象名同步到目标库后会转换成小写，如ABC和abc。因此增量同步阶段，选择的源库的表中不能存在仅大小写不同的表，否则会导致同步失败。任务再编辑增加新表时，请确保新增的表的事务都已提交，否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。

前提条件

已登录数据复制服务控制台。
满足实时同步支持的数据库类型和版本，详情请参见实时同步。

已阅读以上使用建议和使用须知。

操作步骤

本小节以Oracle到RDS for MySQL的实时同步为示例，介绍如何使用数据复制服务配置实时同步任务。

在“实时同步管理”页面，单击“创建同步任务”。

在“同步实例”页面，填选任务名称、描述、同步实例信息，单击“开始创建”。

任务信息

表5 任务和描述
参数	描述
任务名称	任务名称在4到50位之间，必须以字母开头，可以包含字母、数字、中划线或下划线，不能包含其他的特殊字符。
描述	描述不能超过256位，且不能包含! = < > & ' " \ 特殊字符。

同步实例信息

表6 同步实例信息
参数	描述
数据流动方向	选择“入云”。
源数据库引擎	选择“Oracle”。
目标数据库引擎	选择“MySQL”。
网络类型	此处以“公网网络”为示例。目前支持可选公网网络、VPC网络和VPN、专线网络。
目标数据库实例	创建好的RDS for MySQL实例。
同步实例所在子网	请选择同步实例所在的子网。也可以单击“查看子网”，跳转至“网络控制台”查看实例所在子网帮助选择。默认值为当前所选数据库实例所在子网，请选择有可用IP地址的子网。为确保同步实例创建成功，仅显示已经开启DHCP的子网。
同步模式	全量+增量该模式为数据持续性实时同步，通过全量过程完成目标端数据库的初始化后，增量同步阶段通过解析日志等技术，将源端和目标端数据保持数据持续一致。说明：选择“全量+增量”同步模式，增量同步可以在全量同步完成的基础上实现数据的持续同步，无需中断业务，实现同步过程中源业务和数据库继续对外提供访问。全量该模式为数据库一次性同步，适用于可中断业务的数据库同步场景，全量同步将用户选择的数据库对象和数据一次性同步至目标端数据库。

企业项目和标签

表7 企业项目和标签
参数	描述
企业项目	企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。请在下拉框中选择所在的企业项目，其中，default为默认项目。更多企业项目相关的信息，请参见《企业管理用户指南》
标签	可选配置，对同步任务的标识。使用标签可方便管理您的任务。每个任务最多支持10个标签配额。任务创建成功后，您可以单击任务名称，在“标签”页签下查看对应标签。关于标签的详细操作，请参见标签管理。

对于创建失败的任务，DRS默认保留3天，超过3天将会自动结束任务。

在“源库及目标库”页面，同步实例创建成功后，填选源库信息和目标库信息，单击“源库和目标库”处的“测试连接”，分别测试并确定与源库和目标库连通后，勾选协议，单击“下一步”。

表8 源库信息
参数	描述
IP地址或域名	源数据库的IP地址或域名。说明：对于RAC集群，建议使用SCAN IP接入，提高访问性能。
端口	源数据库服务端口，可输入范围为1~65535间的整数。
数据库服务名	数据库服务名（Service Name/SID），客户端可以通过其连接到Oracle，具体查询方法请参照界面提示。
PDB名称	PDB同步仅在Oracle12c及以后的版本支持，该功能为选填项，当需要迁移PDB中的表时开启。 PDB功能开启后，只能迁移该PDB中的表，并且需要提供CDB的service name/sid及用户名和密码，不需要PDB的用户名和密码。
数据库用户名	源数据库的用户名。
数据库密码	源数据库的用户名所对应的密码。
SSL安全连接	通过该功能，用户可以选择是否开启对迁移链路的加密。如果开启该功能，需要用户上传SSL CA根证书。说明：最大支持上传500KB的证书文件。如果不启用SSL安全连接，请自行承担数据安全风险。

源数据库的IP地址或域名、数据库用户名和密码，会被系统加密暂存，直至删除该迁移任务后自动清除。

表9 目标库信息
参数	描述
数据库实例名称	默认为创建迁移任务时选择的RDS for MySQL实例，不可进行修改。
数据库用户名	目标数据库对应的数据库用户名。
数据库密码	数据库用户名和密码将被系统加密暂存，直至该任务删除后清除。支持在任务创建后修改密码。

在“设置同步”页面，选择同步对象类型和同步对象，单击“下一步”。

**表10** 同步模式和对象
参数	描述
流速模式	流速模式支持限速和不限速，默认为不限速。限速自定义的最大同步速度，全量同步过程中的同步速度将不会超过该速度。当流速模式选择了“限速”时，你需要通过流速设置来定时控制同步速度。流速设置通常包括限速时间段和流速大小的设置。默认的限速时间段为“全天限流”，您也可以根据业务需求选择“时段限流”。自定义的时段限流支持最多设置3个定时任务，每个定时任务之间不能存在交叉的时间段，未设定在限速时间段的时间默认为不限速。流速的大小需要根据业务场景来设置，不能超过9999MB/s。不限速对同步速度不进行限制，通常会最大化使用源数据库的出口带宽。该流速模式同时会对源数据库造成读消耗，消耗取决于源数据库的出口带宽。比如源数据库的出口带宽为100MB/s，假设高速模式使用了80%带宽，则同步对源数据库将造成80MB/s的读操作IO消耗。说明：限速模式只对全量阶段生效，增量阶段不生效。您也可以在创建任务后修改流速模式。具体方法请参见修改流速模式。
同步对象类型	可选同步表结构、同步数据、同步索引，根据实际需求进行选择要同步内容。同步数据为必选项。选则同步表结构的时候目标库不能有同名的表。不选同步表结构的时候目标库必须有相应的表，且要保证表结构与所选表结构相同。
同步对象	左侧框是源数据库对象，右侧框是已经选择的对象，可选表级同步、导入对象文件，您可以根据业务场景选择对应的数据进行同步。选择数据的时候支持搜索，以便您快速选择需要的数据库对象。在同步对象右侧已选对象框中，可以使用对象名映射功能进行源数据库和目标数据库中的同步对象映射，具体操作可参考对象名映射。说明：选择对象的时候支持对展开的库进行搜索，以便您快速选择需要的数据库对象。如果有切换源数据库的操作或源库同步对象变化的情况，请在选择同步对象前单击右上角的，以确保待选择的对象为最新源数据库对象。当对象名称包含空格时，名称前后的空格不显示，中间如有多个空格只显示一个空格。选择的同步对象名称中不能包含空格。

在“数据加工”页，可对同步数据进行过滤，完成后单击“下一步”，详细可参考”数据加工“。
在“预检查”页面，进行同步任务预校验，校验是否可进行。
- 查看检查结果，如有不通过的检查项，需要修复不通过项后，单击“重新校验”按钮重新进行任务预校验。
- 预检查完成后，且所有检查项结果均通过时，单击“下一步”。
  
  所有检查项结果均通过时，若存在请确认项，需要阅读并确认详情后才可以继续执行下一步操作。

在“任务确认”页面，设置同步任务的启动时间，并确认同步任务信息无误后，单击“启动任务”，提交同步任务。

**表11** 任务启动设置
参数	描述
启动时间	同步任务的启动时间可以根据业务需求，设置为“立即启动”或“稍后启动”。说明：预计同步任务启动后，会对源数据库和目标数据库的性能产生影响，建议选择业务低峰期，合理设置同步任务的启动时间。

同步任务提交后，您可在“管理”页面，查看并管理自己的任务。
- 您可查看任务提交后的状态，状态请参见任务状态说明。
- 在任务列表的右上角，单击刷新列表，可查看到最新的任务状态。
- 对于未启动、状态为配置中的任务，DRS默认保留3天，超过3天DRS会自动删除后台资源，当前任务状态不变。当用户再次配置时，DRS会重新申请资源。

将Oracle同步到MySQL