文档首页/ 云数据库 GaussDB/ 用户指南/ 数据库迁移/ 使用DRS将Oracle数据库迁移至GaussDB
更新时间:2024-10-28 GMT+08:00

使用DRS将Oracle数据库迁移至GaussDB

操作场景

本章主要介绍如何使用DRS的实时同步功能将本地Oracle数据库实时迁移至华为云GaussDB。通过全量+增量同步,实现源数据库Oracle与目标数据库GaussDB的数据长期同步。全量同步可以实现数据迁移;增量同步可以实现实时同步源端和目标端两个库之间的数据。

步骤一:创建VPC和安全组

步骤二:创建GaussDB实例

步骤三:迁移前构造数据

步骤四:迁移数据库

步骤五:迁移后进行数据校验

解决问题

  • 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。
  • 传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。
  • 传统数据库性能瓶颈问题,复杂查询性能较差。
  • 如何不中断业务并且平滑地实现数据迁移。

前提条件

  • 拥有华为云账号。
  • 账户余额大于等于0元。
  • 如果测试使用,需要自行在本地搭建Oracle数据库。
  • 已知待迁移Oracle数据库的IP地址,端口,账户和密码。

业务架构图

迁移原理

本次迁移使用全量+增量同步功能,原理如下:

  1. 全量同步阶段,先进行结构迁移,例如表、主键、唯一键的迁移。
  2. 结构迁移完成后,启动增量数据抽取,以确保全量数据同步期间的增量数据完整的抽取到DRS实例。
  3. 启动全量迁移任务。
  4. 全量迁移完成后自动进入增量同步,从全量迁移开始抽取的位点开始回放。
  5. 当增量回放全部完成后,启动比对任务进行一致性检查,支持实时比对。
  6. 实时比对数据一致时,可以启动业务割接。
图1 迁移原理图

资源规划

本章中的资源规划仅作为演示,实际业务场景资源以用户实际需求为准。

表1 资源规划

类别

子类

规划

备注

VPC

VPC名称

vpc-src-172

自定义,易理解可识别。

所属Region

测试Region

现网实际选择时建议选择和自己业务区最近的Region,减少网络时延。

可用区

可用区3

-

子网网段

172.16.0.0/16

子网选择时建议预留足够的网络资源。

子网名称

subnet-src-172

自定义,易理解可识别。

本地Oracle数据库

名称

orcl

自定义,易理解可识别。

规格

16vCPUs | 32GB

-

数据库版本

11.2.0.1

-

数据库用户

test_info

可以自定义用户,但是迁移时最小权限为:CREATE SESSION,SELECT ANY TRANSACTION, SELECT ANY TABLE, SELECT ANY DICTIONARY, EXECUTE_CATALOG_ROLE

GaussDB

实例名

Auto-drs-gaussdbv5-tar-1

自定义,易理解可识别。

数据库版本

GaussDB 8.103企业版

-

实例类型

分布式版,3CN,3DN,3副本

本示例中为分布式实例。

部署形态

独立部署

-

事务一致性

强一致性

-

分片数量

3

-

协调节点数量

3

-

存储类型

超高IO

-

可用区

可用区2

本示例中选择了单可用区,实际建议选择多可用区,以提高实例的高可用性。

性能规格

独享型(1:8) 8 vCPUs | 64GB

本示例中为测试实例,选择较小的测试规格,实际选择规格以业务诉求为准。

存储空间

480G

本示例中为测试实例,选择较小的存储空间,实际选择存储空间大小以业务诉求为准。

加密磁盘

不加密

本示例中选择磁盘不加密,选择加密后会提高数据安全性,但对数据库读写性能有少量影响,实际请按照业务使用策略进行选择。

DAS登录数据库

数据库引擎

GaussDB

-

数据库来源

GaussDB

勾选本示例中创建的GaussDB实例

数据库名称

postgres

-

登录用户名

root

-

密码

-

本示例中创建的GaussDB实例root用户密码

DRS迁移任务

迁移任务名

DRS-test-info

自定义。

目标库名称

test_database_info

自定义,易理解可识别,但是需要确保兼容模式为Oracle模式。

源数据库引擎

Oracle

-

目标数据库引擎

GaussDB

-

网络类型

公网网络

本示例中采用公网网络。

步骤一:创建VPC和安全组

创建VPC和安全组,为创建GaussDB实例准备网络资源和安全组。

  1. 登录华为云控制台
  2. 单击管理控制台左上角的,选择区域。
  3. 单击左侧的服务列表图标,选择网络 > 虚拟私有云 VPC。进入虚拟私有云信息页面。
  4. 单击“创建虚拟私有云”购买VPC。

  5. 单击“立即创建”。
  6. 返回VPC列表,查看创建VPC是否创建完成。

    当VPC列表的VPC状态为“可用”时,表示VPC创建完成。

  1. 登录华为云控制台
  2. 单击管理控制台左上角的,选择区域。
  3. 单击左侧的服务列表图标,选择网络 > 虚拟私有云

    进入虚拟私有云信息页面。

  4. 选择“访问控制 > 安全组”。
  5. 单击“创建安全组”。
  6. 填写安全组名称等信息。

  7. 单击“确定”。
  8. 返回安全组列表,单击安全组名称“sg-01”。
  9. 选择“入方向规则”,单击“添加规则”。

  10. 配置入方向规则,添加源库的IP地址。

步骤二:创建GaussDB实例

创建GaussDB实例,作为迁移任务目标库。

  1. 登录华为云控制台
  2. 单击管理控制台左上角的,选择区域。
  3. 单击左侧的服务列表图标,选择数据库 > 云数据库 GaussDB
  4. 在左侧导航栏选择GaussDB > 实例管理
  5. 单击“购买数据库实例”。
  6. 参考图2,配置实例名称,选择计费模式、产品类型、数据库引擎版本、实例类型、事务一致性、分片数量、协调节点数量和可用区。
    图2 基本信息

  7. 选择实例规格、存储空间大小。
    图3 实例规格

  8. 选择实例所属的VPC(创建VPC)和安全组(创建安全组),配置数据库端口。
    图4 选择VPC和安全组

  9. 配置实例密码等信息。
    图5 配置实例密码等信息

  10. 单击“立即购买”,确认信息并提交。
  11. 返回实例列表。

    当实例运行状态为“正常”时,表示实例创建完成。

步骤三:迁移前构造数据

迁移前需要在源库构造一些数据类型,供迁移完成后验证数据。本章中端到端的数据为测试数据,仅供参考。

DRS支持的数据类型如下所示:

表2 数据类型映射关系

源库数据类型

目标库数据类型

源库数据类型做主键,同步能力

源库数据类型做非主键,同步能力

源库数据类型做主键,对比能力

源库数据类型做非主键,对比能力

备注

CHAR

character

支持

支持

支持,忽略字符前后的空格

支持,忽略字符前后的空格

-

VARCHAR

character varying

支持

支持

支持

支持

源目标库数据表示范围不同,存在精度损失。

VARCHAR2

character varying

支持

支持

支持

支持

-

NCHAR

character

支持

支持

支持,忽略字符前后的空格

支持,忽略字符前后的空格

-

NVARCHAR2

nvarchar2

支持

支持

支持

支持

-

NUMBER

numeric

支持

支持

支持

支持

-

NUMBER (6,3)

numeric(6,3)

支持

支持

支持

支持

-

NUMBER (6,0)

Integer

支持

支持

支持

支持

-

NUMBER (3)

smallint

支持

支持

支持

支持

-

NUMBER (6,-2)

integer

支持

支持

支持

支持

-

BINARY_FLOAT

real

不支持(目标库不支持做主键建表)

支持

不支持

支持

源目标库数据表示范围不同,存在精度损失。

BINARY_DOUBLE

double precision

不支持(目标库不支持做主键建表)

支持

不支持

支持

-

FLOAT

real

不支持(目标库不支持做主键建表)

支持

不支持

支持

源目标库数据表示范围不同,存在精度损失。

INT

numeric

支持

支持

支持

支持

-

INTEGER

numeric

支持

支持

支持

支持

-

DATE

date

支持

支持

不支持

支持

DRS在目标库建表时类型为date,此时源目标库数据表示范围不同,存在精度损失,不支持对比。

TIMESTAMP

timestamp(6) without time zone

支持

支持

不支持

校验到小数点后6位

源库使用限制:支持的最大精度是6。

TIMESTAMP_TZ

timestamp(6) with time zone

不支持(源库不支持做主键建表)

支持

不支持

过滤该列

-

TIMESTAMP_LTZ

timestamp(6) with time zone

不支持(目标库不支持做主键建表)

支持

不支持

过滤该列

-

INTERVAL_YM

interval year to month

支持

支持

不支持

不支持

增量同步不支持该类型。

INTERVAL_DS

interval day to second

支持

支持

不支持

不支持

增量同步不支持该类型。源库使用限制:支持的最大精度是6。

BLOB

bytea

不支持(源库不支持做主键建表)

支持

不支持

过滤该列

-

CLOB

text

不支持(源库不支持做主键建表)

支持

不支持

过滤该列

-

NCLOB

text

不支持(源库不支持做主键建表)

支持

不支持

过滤该列

-

LONG

text

不支持(源库不支持做主键建表)

支持

不支持

过滤该列

-

LONG_RAW

bytea

不支持(源库不支持做主键建表)

支持

不支持

过滤该列

-

RAW

bytea

不支持(目标库不支持做主键建表)

支持

不支持

支持

-

RowID

character varying(18)

支持

支持

支持

支持

-

BFILE

-

不支持

不支持

不支持

不支持

源库使用限制:不支持bfile类型。

XMLTYPE

-

不支持

不支持

不支持

不支持

源库使用限制:不支持xmltype类型。

UROWID

-

不支持

不支持

不支持

不支持

全量增量都不支持同步。

sdo_geometry

-

不支持

不支持

不支持

不支持

源库使用限制:不支持sdo_geometry类型。

NUMBER(*,0)

numeric

支持

支持

支持

支持

-

执行如下步骤在源库构造数据:

  1. 根据本地的Oracle数据库的IP地址,通过数据库连接工具连接数据库。
  2. 根据DRS支持的数据类型,在源库执行语句构造数据。
    1. 创建一个测试用的用户。

      create user test_info identified by xxx;

      test_info为本次迁移创建的用户,xxx为用户的密码,请根据实际情况替换。

    2. 给用户赋权。

      grant dba to test_info;

    3. 在当前用户下创建一个数据表。

      CREATE TABLE test_info.DATATYPELIST(

      ID INT,

      COL_01_CHAR______E CHAR(100),

      COL_02_NCHAR_____E NCHAR(100),

      COL_03_VARCHAR___E VARCHAR(1000),

      COL_04_VARCHAR2__E VARCHAR2(1000),

      COL_05_NVARCHAR2_E NVARCHAR2(1000),

      COL_06_NUMBER____E NUMBER(38,0),

      COL_07_FLOAT_____E FLOAT(126),

      COL_08_BFLOAT____E BINARY_FLOAT,

      COL_09_BDOUBLE___E BINARY_DOUBLE,

      COL_10_DATE______E DATE DEFAULT SYSTIMESTAMP,

      COL_11_TS________E TIMESTAMP(6),

      COL_12_TSTZ______E TIMESTAMP(6) WITH TIME ZONE,

      COL_13_TSLTZ_____E TIMESTAMP(6) WITH LOCAL TIME ZONE,

      COL_14_CLOB______E CLOB DEFAULT EMPTY_CLOB(),

      COL_15_BLOB______E BLOB DEFAULT EMPTY_BLOB(),

      COL_16_NCLOB_____E NCLOB DEFAULT EMPTY_CLOB(),

      COL_17_RAW_______E RAW(1000),

      COL_19_LONGRAW___E LONG RAW,

      COL_24_ROWID_____E ROWID,

      PRIMARY KEY(ID)

      );

    4. 插入两行数据。

      insert into test_info.DATATYPELIST values(4,'huawei','xian','shanxi','zhongguo','shijie', 666,12.321,1.123,2.123,sysdate,sysdate,sysdate,sysdate,'hw','cb','df','FF','FF','AAAYEVAAJAAAACrAAA');

      insert into test_info.DATATYPELIST values(2,'Migrate-test','test1','test2','test3','test4', 666,12.321,1.123,2.123,sysdate,sysdate,sysdate,sysdate,'hw','cb','df','FF','FF','AAAYEVAAJAAAACrAAA');

    5. 使语句生效。

      commit;

  3. 在目标端创建库。
    1. 登录华为云控制台
    2. 单击管理控制台左上角的,选择区域。
    3. 单击左侧的服务列表图标,选择数据库 > 数据管理服务 DAS
    4. 在数据管理服务DAS左侧导航栏,单击“开发工具”,进入开发工具数据库登录列表页面。
    5. 单击“新增数据库实例登录”,打开新增数据库实例登录窗口。
    6. 选择“数据库引擎”、“数据库来源”、目标实例,填写登录用户名、密码以及描述(非必填项)信息,开启SQL执行记录功能。
    1. 单击“测试连接”测试连接是否成功。

      如测试连接成功,将提示“连接成功”,您可继续新增操作。如测试连接失败,将提示连接失败原因,您需根据提示信息进行修改,以便新增数据库登录成功。

    2. 设置完登录信息,单击“立即新增”。
    3. 新增完成后,单击新增登录的“登录”,登录当前数据库。

    4. 选择“SQL操作”> “SQL查询”进入SQL查询页面。

    5. 执行如下语句创建兼容Oracle的数据库。
      此例中为:test_database_info,请根据实际情况选择。
      CREATE DATABASE test_database_info DBCOMPATIBILITY 'ORA';

步骤四:迁移数据库

创建DRS实例,将本地Oracle上的test_info数据库迁移到GaussDB实例中test_database_info数据库中。

迁移前检查

在创建任务前,需要针对迁移条件进行手工自检,以确保您的迁移任务更加顺畅。

在迁移前,您需要参考入云使用须知获取迁移相关说明。

创建迁移任务

  1. 登录华为云控制台
  2. 单击管理控制台左上角的,选择区域。

    选择目标实例所在的区域。

  3. 单击左侧的服务列表图标,选择数据库 > 数据复制服务 DRS
  4. 左侧导航栏选择“实时同步管理”,单击“创建同步任务”。
  5. 配置同步实例信息。
    1. 选择区域,计费模式,项目,填写任务名称。

    2. 配置同步实例信息,选择“数据流动方向”、“源数据库引擎”、“目标数据库引擎”、“网络类型”、“DRS任务类型”、“目标数据库实例”、“同步实例所在子网”、“同步模式”、“指定公网IP”(网络类型选择公网网络时需要配置该参数)、“规格类型”、“可用区”和“企业项目”,选填“标签”。

    3. 单击“开始创建”。
  6. 配置源库及目标库信息。
    1. 选择“是否配置自建DNS服务”、填写源库的IP、端口、用户、密码等信息。

      填写完成后,需要单击“测试连接”,测试连接信息是否正确。

    2. 填写目标库的账户和密码。

      填写完成后,需要单击“测试连接”,测试连接信息是否正确。

    3. 单击“下一步”,仔细阅读提示内容后,单击“同意,并继续”。

  7. 设置同步。
    1. 在源库选择需要迁移的数据库和表。本次迁移中选择“test_info”中的“DATATYPELIST”表。

    2. 选择完成后,可以设置迁移后是否重新命名库名和表名。

    3. 本次迁移将表名重新命名为“DATATYPELIST_After”。

      注意重新命名时不要使用特殊符号,否则会导致迁移后执行SQL语句报错。

    4. 确认重命名设置内容,单击“下一步”。

  8. 高级设置。

    本页面内容仅做确认,无法修改,确认完成后单击“下一步”。

  9. 数据加工。
    在该页面可以对迁移的表进行加工。包括选择迁移的列,重新命名迁移后的列名,本次迁移将“COL_01_CHAR______E”重新命名为“new-line”。
    1. 选择需要加工的表。

    2. 编辑“COL_01_CHAR______E”列。

    3. 将“COL_01_CHAR______E”重新命名为“new-line”,单击“确定”。

    4. 单击“下一步”。
  10. 预检查。
    1. 所有配置完成后,进行预检查,确保迁移成功。

    2. 对于未通过的项目,根据检查结果中的提示信息修复,修复完成后,单击“重新校验”,直到预检查通过率为100%。

    3. 预检查全部通过后,单击“下一步”。
  11. 任务确定。
    1. 检查所有配置项是否正确。

    2. 单击“启动任务”,仔细阅读提示后,勾选“我已阅读启动前须知”。
    3. 单击“启动任务”,完成任务创建。

  12. 任务创建成功。

    任务创建成功后,返回任务列表查看创建的任务状态。

步骤五:迁移后进行数据校验

当任务状态变为“增量同步”,说明全量同步已经完成,全量同步完成后,登录GaussDB查看数据迁移结果。

  1. 等待迁移任务状态变为“增量同步”。

  2. 单击任务名称,进入任务详情页。
  3. 在“同步进度”页签查看全量同步结果。

    如图所示,本次迁移将TEST_INFO库中DATATYPELIST表迁移至shard_0,共迁移了两条数据。

  4. 验证数据一致性。
    1. 在“同步对比 > 对象级对比”页面,查看库和表的迁移结果。

    2. 在“同步对比 > 数据级对比”页面,创建对比任务,查看表中行的迁移结果。

  5. 通过DAS连接GaussDB的目标库“test_database_info ”。
  6. 执行如下语句,查询全量同步结果。
    SELECT * FROM test_info.datatypelist_after;

    Oracle数据库中的模式迁移完成后,会在GaussDB库中作为Schema,所以查询语句中添加Schema精确查询。

    如图所示,查询表中的各个数据类型都迁移成功,并且数据正确无误。

  7. 验证增量同步。
    由于本次迁移为“全量+增量”同步模式,全量同步完成后,如果在创建任务后有数据写入,这些写入的数据会一直同步至目标库中,直到任务结束。下面我们模拟写入另外的数据。
    1. 根据本地的Oracle数据库的IP和地址,通过数据库连接工具连接数据库。
    2. 执行如下语句,在源库插入一条数据。
      我们插入一条“id”为1的数据。
      insert into test_info.DATATYPELIST values(1,'Migrate-test','test1','test2','test3','test4', 666,12.321,1.123,2.123,sysdate,sysdate,sysdate,sysdate,'hw','cb','df','FF','FF','AAAYEVAAJAAAACrAAA');
      commit;
    3. 在目标库执行如下语句查询结果。
      SELECT * FROM test_info.datatypelist_after;

      如图所示,在源库新增的数据,可以实时同步至目标库。

  8. 结束迁移任务。
    根据业务情况,待业务完全迁移至目标库,可以结束当前任务。
    1. 单击“操作”列的“结束”。

    2. 仔细阅读提示后,单击“是”,结束任务。

  9. 迁移完成后,进行性能测试。

    测试云数据库GaussDB性能的方法请参见性能白皮书