使用DRS将Oracle数据库迁移至GaussDB

操作场景

本章主要介绍如何使用DRS的实时同步功能将本地Oracle数据库实时迁移至华为云GaussDB。通过全量+增量同步，实现源数据库Oracle与目标数据库GaussDB的数据长期同步。全量同步可以实现数据迁移；增量同步可以实现实时同步源端和目标端两个库之间的数据。

步骤一：创建VPC和安全组

步骤二：创建GaussDB实例

步骤三：迁移前构造数据

步骤四：迁移数据库

步骤五：迁移后进行数据校验

解决问题

• 企业业务高速发展，传统数据库扩容性差，迫切需要分布式化改造。
• 传统数据库需要自购并安装服务器、系统、数据库等软件，运维成本高、难度大。
• 传统数据库性能瓶颈问题，复杂查询性能较差。
• 如何不中断业务并且平滑地实现数据迁移。

前提条件

• 拥有华为云实名认证账号。
• 账户余额大于等于0元。
• 如果测试使用，需要自行在本地搭建Oracle数据库。
• 已知待迁移Oracle数据库的IP地址，端口，账户和密码。

业务架构图

迁移原理

本次迁移使用全量+增量同步功能，原理如下：

1. 全量同步阶段，先进行结构迁移，例如表、主键、唯一键的迁移。
2. 结构迁移完成后，启动增量数据抽取，以确保全量数据同步期间的增量数据完整地抽取到DRS实例。
3. 启动全量迁移任务。
4. 全量迁移完成后自动进入增量同步，从全量迁移开始抽取的位点开始回放。
5. 当增量回放全部完成后，启动比对任务进行一致性检查，支持实时比对。
6. 实时比对数据一致时，可以启动业务割接。

图1 迁移原理图

资源规划

本章中的资源规划仅作为演示，实际业务场景资源以用户实际需求为准。

步骤一：创建VPC和安全组

创建VPC和安全组，为创建GaussDB实例准备网络资源和安全组。

步骤二：创建GaussDB实例

创建GaussDB实例，作为迁移任务目标库。

1. 登录华为云控制台。
2. 单击管理控制台左上角的，选择区域。
3. 单击左侧的服务列表图标，选择“数据库 > 云数据库 GaussDB”。
4. 在左侧导航栏选择GaussDB > 实例管理。
5. 单击“购买数据库实例”。
6. 参考图6，配置实例名称，选择计费模式、产品类型、数据库引擎版本、实例类型、事务一致性、分片数量、协调节点数量和可用区。
   图6 基本信息
   

7. 选择实例规格、存储空间大小。
   图7 实例规格
   

8. 选择实例所属的VPC（创建VPC）和安全组（创建安全组），配置数据库端口。
   图8 选择VPC和安全组
   

9. 配置实例密码等信息。
   图9 配置实例密码等信息
   

10. 单击“立即购买”，确认信息并提交。
11. 返回实例列表。

    当实例运行状态为“正常”时，表示实例创建完成。

步骤三：迁移前构造数据

迁移前需要在源库构造一些数据类型，供迁移完成后验证数据。本章中端到端的数据为测试数据，仅供参考。

DRS支持的数据类型如下所示：

执行如下步骤在源库构造数据：

1. 根据本地的Oracle数据库的IP地址，通过数据库连接工具连接数据库。
2. 根据DRS支持的数据类型，在源库执行语句构造数据。
   1. 创建一个测试用的用户。

      create user test_info identified by xxx;

      test_info为本次迁移创建的用户，xxx为用户的密码，请根据实际情况替换。

   2. 给用户赋权。

      grant dba to test_info;

   3. 在当前用户下创建一个数据表。

      CREATE TABLE test_info.DATATYPELIST(

      ID INT,

      COL_01_CHAR______E CHAR(100),

      COL_02_NCHAR_____E NCHAR(100),

      COL_03_VARCHAR___E VARCHAR(1000),

      COL_04_VARCHAR2__E VARCHAR2(1000),

      COL_05_NVARCHAR2_E NVARCHAR2(1000),

      COL_06_NUMBER____E NUMBER(38,0),

      COL_07_FLOAT_____E FLOAT(126),

      COL_08_BFLOAT____E BINARY_FLOAT,

      COL_09_BDOUBLE___E BINARY_DOUBLE,

      COL_10_DATE______E DATE DEFAULT SYSTIMESTAMP,

      COL_11_TS________E TIMESTAMP(6),

      COL_12_TSTZ______E TIMESTAMP(6) WITH TIME ZONE,

      COL_13_TSLTZ_____E TIMESTAMP(6) WITH LOCAL TIME ZONE,

      COL_14_CLOB______E CLOB DEFAULT EMPTY_CLOB(),

      COL_15_BLOB______E BLOB DEFAULT EMPTY_BLOB(),

      COL_16_NCLOB_____E NCLOB DEFAULT EMPTY_CLOB(),

      COL_17_RAW_______E RAW(1000),

      COL_19_LONGRAW___E LONG RAW,

      COL_24_ROWID_____E ROWID,

      PRIMARY KEY(ID)

      );

   4. 插入两行数据。

      insert into test_info.DATATYPELIST values(4,'huawei','xian','shanxi','zhongguo','shijie', 666,12.321,1.123,2.123,sysdate,sysdate,sysdate,sysdate,'hw','cb','df','FF','FF','AAAYEVAAJAAAACrAAA');

      insert into test_info.DATATYPELIST values(2,'Migrate-test','test1','test2','test3','test4', 666,12.321,1.123,2.123,sysdate,sysdate,sysdate,sysdate,'hw','cb','df','FF','FF','AAAYEVAAJAAAACrAAA');

   5. 使语句生效。

      commit;

3. 在目标端创建库。
   1. 登录华为云控制台。
   2. 单击管理控制台左上角的，选择区域。
   3. 单击左侧的服务列表图标，选择“数据库 > 数据管理服务 DAS”。
   4. 在数据管理服务DAS左侧导航栏，单击“开发工具”，进入开发工具数据库登录列表页面。
   5. 单击“新增数据库实例登录”，打开新增数据库实例登录窗口。
   6. 选择“数据库引擎”、“数据库来源”、目标实例，填写登录用户名、密码以及描述（非必填项）信息，开启SQL执行记录功能。
   7. 单击“测试连接”测试连接是否成功。

      如测试连接成功，将提示“连接成功”，您可继续新增操作。如测试连接失败，将提示连接失败原因，您需根据提示信息进行修改，以便新增数据库登录成功。

   8. 设置完登录信息，单击“立即新增”。
   9. 新增完成后，单击新增登录的“登录”，登录当前数据库。
      图10 登录数据库
      

   10. 选择“SQL操作”> “SQL查询”进入SQL查询页面。

       

   11. 执行如下语句创建兼容Oracle的数据库。
       此例中为：test_database_info，请根据实际情况选择。

       CREATE DATABASE test_database_info DBCOMPATIBILITY 'ORA';

步骤四：迁移数据库

创建DRS实例，将本地Oracle上的test_info数据库迁移到GaussDB实例中test_database_info数据库中。

迁移前检查

在创建任务前，需要针对迁移条件进行手工自检，以确保您的迁移任务更加顺畅。

在迁移前，您需要参考入云使用须知获取迁移相关说明。

创建迁移任务

1. 登录华为云控制台。
2. 单击管理控制台左上角的，选择区域。

   选择目标实例所在的区域。

3. 单击左侧的服务列表图标，选择“数据库 > 数据复制服务 DRS”。
4. 左侧导航栏选择“实时同步管理”，单击“创建同步任务”。
5. 配置同步实例信息。
   1. 选择区域，计费模式，项目，填写任务名称。

      

   2. 配置同步实例信息，选择“数据流动方向”、“源数据库引擎”、“目标数据库引擎”、“网络类型”、“DRS任务类型”、“目标数据库实例”、“同步实例所在子网”、“同步模式”、“指定公网IP”（网络类型选择公网网络时需要配置该参数）、“规格类型”、“可用区”和“企业项目”，选填“标签”。

      

      

   3. 单击“开始创建”。
6. 配置源库及目标库信息。
   1. 选择“是否配置自建DNS服务”、填写源库的IP、端口、用户、密码等信息。

      填写完成后，需要单击“测试连接”，测试连接信息是否正确。

      

   2. 填写目标库的账户和密码。

      填写完成后，需要单击“测试连接”，测试连接信息是否正确。

      

   3. 单击“下一步”，仔细阅读提示内容后，单击“同意，并继续”。

7. 设置同步。
   1. 在源库选择需要迁移的数据库和表。本次迁移中选择“test_info”中的“DATATYPELIST”表。

      

   2. 选择完成后，可以设置迁移后是否重新命名库名和表名。

      

   3. 本次迁移将表名重新命名为“DATATYPELIST_After”。

      注意重新命名时不要使用特殊符号，否则会导致迁移后执行SQL语句报错。

      

   4. 确认重命名设置内容，单击“下一步”。

      

8. 高级设置。

   本页面内容仅做确认，无法修改，确认完成后单击“下一步”。

   

9. 数据加工。
   在该页面可以对迁移的表进行加工。包括选择迁移的列，重新命名迁移后的列名，本次迁移将“COL_01_CHAR______E”重新命名为“new-line”。

   1. 选择需要加工的表。

      

   2. 编辑“COL_01_CHAR______E”列。

      

   3. 将“COL_01_CHAR______E”重新命名为“new-line”，单击“确定”。

      

   4. 单击“下一步”。
10. 预检查。
    1. 所有配置完成后，进行预检查，确保迁移成功。

       

    2. 对于未通过的项目，根据检查结果中的提示信息修复，修复完成后，单击“重新校验”，直到预检查通过率为100%。

       

    3. 预检查全部通过后，单击“下一步”。
11. 任务确定。
    1. 检查所有配置项是否正确。

       

    2. 单击“启动任务”，仔细阅读提示后，勾选“我已阅读启动前须知”。
    3. 单击“启动任务”，完成任务创建。

       

12. 任务创建成功。

    任务创建成功后，返回任务列表查看创建的任务状态。

    

步骤五：迁移后进行数据校验

当任务状态变为“增量同步”，说明全量同步已经完成，全量同步完成后，登录GaussDB查看数据迁移结果。

1. 等待迁移任务状态变为“增量同步”。

   

2. 单击任务名称，进入任务详情页。
3. 在“同步进度”页签查看全量同步结果。

   如图所示，本次迁移将TEST_INFO库中DATATYPELIST表迁移至shard_0，共迁移了两条数据。

   

4. 验证数据一致性。
   1. 在“同步对比 > 对象级对比”页面，查看库和表的迁移结果。

      

   2. 在“同步对比 > 数据级对比”页面，创建对比任务，查看表中行的迁移结果。

      

5. 通过DAS连接GaussDB的目标库“test_database_info ”。

   DAS连接实例的方法请参考新增数据库登录。

6. 执行如下语句，查询全量同步结果。

   SELECT * FROM test_info.datatypelist_after;

   Oracle数据库中的模式迁移完成后，会在GaussDB库中作为Schema，所以查询语句中添加Schema精确查询。

   如图所示，查询表中的各个数据类型都迁移成功，并且数据正确无误。

   

7. 验证增量同步。
   由于本次迁移为“全量+增量”同步模式，全量同步完成后，如果在创建任务后有数据写入，这些写入的数据会一直同步至目标库中，直到任务结束。下面为模拟写入另外的数据。

   1. 根据本地的Oracle数据库的IP和地址，通过数据库连接工具连接数据库。
   2. 执行如下语句，在源库插入一条数据。
      插入一条“id”为1的数据。

      insert into test_info.DATATYPELIST values(1,'Migrate-test','test1','test2','test3','test4', 666,12.321,1.123,2.123,sysdate,sysdate,sysdate,sysdate,'hw','cb','df','FF','FF','AAAYEVAAJAAAACrAAA');
      commit;

   3. 在目标库执行如下语句查询结果。

      SELECT * FROM test_info.datatypelist_after;

      如图所示，在源库新增的数据，可以实时同步至目标库。

      

8. 结束迁移任务。
   根据业务情况，待业务完全迁移至目标库，可以结束当前任务。

   1. 单击“操作”列的“结束”。

      

   2. 仔细阅读提示后，单击“是”，结束任务。

      

9. 迁移完成后，进行性能测试。

   测试云数据库GaussDB性能的方法请参见性能白皮书。