计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
态势感知 SA
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive
文档首页/ 数据复制服务 DRS/ 最佳实践/ 实时同步/ 本地MySQL同步到GaussDB分布式版

本地MySQL同步到GaussDB分布式版

更新时间:2024-10-17 GMT+08:00

场景描述

本实践使用DRS的实时同步功能将本地MySQL数据库实时迁移至华为云GaussDB。通过全量+增量同步,实现源数据库MySQL和目标数据库GaussDB的数据长期同步。

解决问题

  • 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。
  • 传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。
  • 传统数据库性能瓶颈问题,复杂查询性能较差。
  • 如何不中断业务并且平滑的实现数据迁移。

业务架构图

迁移原理

本次实践使用全量+增量同步功能,原理如下:

  1. 全量同步阶段,先进行结构迁移,例如表、主键、唯一键的迁移。
  2. 结构迁移完成后,启动增量数据抽取,以确保全量数据同步期间的增量数据完整的抽取到DRS实例。
  3. 启动全量迁移任务。
  4. 全量迁移完成后自动进入增量同步,从全量迁移开始抽取的位点开始回放。
  5. 当增量回放全部完成后,启动比对任务进行一致性检查,支持实时比对。
  6. 实时比对数据一致时,可以启动业务割接。

服务列表

  • 虚拟私有云 VPC
  • 云数据库 GaussDB
  • 数据复制服务 DRS
  • 数据管理服务 DAS

使用说明

  • 本实践的资源规划仅作为演示,实际业务场景资源以用户实际需求为准。
  • 本实践端到端的数据为测试数据,仅供参考。
  • 全量同步可以实现数据迁移;增量同步可以实现实时同步源端和目标端两个库之间的数据。

前提条件

  • 拥有华为云账号。
  • 账户余额大于等于0美元。
  • 如果测试使用,需要自行在本地搭建MySQL数据库。
  • 已知待同步MySQL数据库的IP地址,端口,账户和密码。

资源规划

表1 资源规划

类别

子类

规划

备注

VPC

VPC名称

vpc-src-172

自定义,易理解可识别。

所属Region

测试Region

现网实际选择时建议选择和自己业务区最近的Region,减少网络时延。

可用区

可用区3

-

子网网段

172.16.0.0/16

子网选择时建议预留足够的网络资源。

子网名称

subnet-src-172

自定义,易理解可识别。

本地MySQL数据库

数据库版本

5.7.38

-

数据库用户

test_info

可以自定义用户,但是迁移时最小权限为:SELECT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT

GaussDB

实例名

Auto-drs-gaussdbv5-tar-1

自定义,易理解可识别。

数据库版本

GaussDB1.3企业版

-

实例类型

分布式版,1CN,3DN,3副本

本示例中为分布式实例。

部署形态

独立部署

-

事务一致性

强一致性

-

分片数量

3

-

协调节点数量

3

-

存储类型

超高IO

-

可用区

可用区2

本示例中选择了单可用区,实际建议选择多可用区,以提高实例的高可用性。

性能规格

通用增强Ⅱ型 8 vCPUs | 64GB

本示例中为测试实例,选择较小的测试规格,实际选择规格以业务诉求为准。

存储空间

480G

本示例中为测试实例,选择较小的存储空间,实际选择存储空间大小以业务诉求为准。

加密磁盘

不加密

本示例中选择磁盘不加密,选择加密后会提高数据安全性,但对数据库读写性能有少量影响,实际请按照业务使用策略进行选择。

DAS登录数据库

数据库引擎

GaussDB

-

数据库来源

GaussDB

勾选本示例中创建的GaussDB实例

数据库名称

postgres

-

登录用户名

root

-

密码

-

本示例中创建的GaussDB实例root用户密码

DRS迁移任务

迁移任务名

DRS-test-info

自定义。

目标库名称

test_database_info

自定义,易理解可识别,但是需要确保兼容模式为MySQL模式。

源数据库引擎

MySQL

-

目标数据库引擎

GaussDB

-

网络类型

公网网络

本示例中采用公网网络。

操作流程

本实践的主要任务流程如图1所示:

图1 操作流程

创建VPC

创建VPC,为创建GaussDB实例准备网络资源。

  1. 登录华为云控制台
  2. 单击管理控制台左上角的,选择区域。
  3. 单击左侧的服务列表图标,选择网络 > 虚拟私有云 VPC

    进入虚拟私有云信息页面。

  4. 单击“创建虚拟私有云”购买VPC。

  5. 单击“立即创建”。
  6. 返回VPC列表,查看创建VPC是否创建完成。

    当VPC列表的VPC状态为“可用”时,表示VPC创建完成。

创建安全组

创安全组,为创建GaussDB实例准备安全组。

  1. 登录华为云控制台
  2. 单击管理控制台左上角的,选择区域。
  3. 单击左侧的服务列表图标,选择网络 > 虚拟私有云 VPC

    进入虚拟私有云信息页面。

  4. 选择“访问控制 > 安全组”。
  5. 单击“创建安全组”。
  6. 填写安全组名称等信息。

  7. 单击“确定”。
  8. 返回安全组列表,单击安全组名称“sg-01”。
  9. 选择“入方向规则”,单击“添加规则”。

  10. 配置入方向规则,添加源库的IP地址。

创建GaussDB分布式实例

本章节介绍创建GaussDB分布式实例,作为同步任务目标库。

  1. 登录华为云控制台
  2. 单击管理控制台左上角的,选择区域。
  3. 单击左侧的服务列表图标,选择数据库 > 云数据库 GaussDB
  4. 单击“购买数据库实例”。
  5. 配置实例名称和实例基本信息。

  6. 选择实例规格。

    本示例中为测试实例,选择较小的测试规格,实际可选规格以界面为准。

  7. 选择实例所属的VPC和安全组(创建VPC创建安全组),配置数据库端口。

  8. 配置实例密码等信息。

  9. 单击“立即购买”,确认信息并提交。
  10. 返回实例列表。

    当实例运行状态为“正常”时,表示实例创建完成。

同步前构造数据

同步前需要在源库构造一些数据类型,供同步完成后验证数据。

DRS支持的数据类型可参考MySQL->GaussDB数据映射关系

执行如下步骤在源库构造数据:

  1. 根据本地的MySQL数据库的IP地址,通过数据库连接工具连接数据库。
  2. 根据DRS支持的数据类型,在源库执行语句构造数据。

    1. 创建一个测试用的用户。

      create user test_info identified by xxx;

      test_info为本次实践创建的用户,xxx为用户的密码,请根据实际情况替换。

    2. 在当前用户下创建一个数据库test_info。

      CREATE DATABASE test_info;

    3. 在test_info库下创建一个表。

      CREATE TABLE `test_info`.`test_table` (

      `id` int NOT NULL,

      `c1` char(10) DEFAULT NULL,

      `c2` varchar(10) DEFAULT NULL,

      `c3` binary(10) DEFAULT NULL,

      `c4` varbinary(10) DEFAULT NULL,

      `c5` tinyblob,

      `c6` mediumblob,

      `c7` longblob,

      `c8` tinytext,

      `c9` text,

      `c10` mediumtext,

      `c11` longtext,

      `c12` enum('1','2','3') DEFAULT NULL,

      `c13` set('1','2','3') DEFAULT NULL,

      `c14` tinyint DEFAULT NULL,

      `c15` smallint DEFAULT NULL,

      `c16` mediumint DEFAULT NULL,

      `c17` bigint DEFAULT NULL,

      `c18` float DEFAULT NULL,

      `c19` double DEFAULT NULL,

      `c20` date DEFAULT NULL,

      `c21` datetime DEFAULT NULL,

      `c22` timestamp,

      `c23` time DEFAULT NULL,

      `c24` year DEFAULT NULL,

      `c25` bit(10) DEFAULT NULL,

      `c26` json DEFAULT NULL,

      `c27` decimal(10,0) DEFAULT NULL,

      `c28` decimal(10,0) DEFAULT NULL,

      PRIMARY KEY (`id`)

      );

    4. 给用户赋权。

      GRANT SELECT, LOCK TABLES ON <database>.<table> to test_info;

      GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* to test_info;

      test_info为本次实践创建的用户,<database>为需要数据同步的库名,<table>为要数据同步的表名,请根据实际情况替换。

    5. 在表中插入两行数据。

      insert into test_info.test_table values (1,'a','b','111','111','tinyblob','mediumblob','longblob','tinytext','text','mediumtext','longtext','1','3',1,2,3,4,1.123,1.1234,'2024-03-08','2024-03-08 08:00:00','2024-03-08 08:00:00','08:00:00','2024','1010','{"a":"b"}',1.23,1.234);

      insert into test_info.test_table values (2,'a','b','111','111','tinyblob','mediumblob','longblob','tinytext','text','mediumtext','longtext','1','3',1,2,3,4,1.123,1.1234,'2024-03-08','2024-03-08 08:00:00','2024-03-08 08:00:00','08:00:00','2024','1010','{"a":"b"}',1.23,1.234);

  3. 在目标端创建库。

    1. 登录华为云控制台
    2. 单击管理控制台左上角的,选择区域。
    3. 单击左侧的服务列表图标,选择数据库 > 数据管理服务 DAS
    4. 在数据管理服务DAS左侧导航栏,单击“开发工具”,进入开发工具数据库登录列表页面。
    5. 单击“新增数据库实例登录”,打开新增数据库实例登录窗口。
    6. 选择“数据库引擎”、“数据库来源”,填写登录用户名、密码以及描述(非必填项)信息,开启定时采集、SQL执行记录功能。

      如开启“定时采集”,需勾选“记住密码”。

    1. 单击“测试连接”测试连接是否成功。

      如测试连接成功,将提示“连接成功”,您可继续新增操作。如测试连接失败,将提示连接失败原因,您需根据提示信息进行修改,以便新增数据库登录成功。

    2. 设置完登录信息,单击“立即新增”。
    3. 新增完成后,单击新增登录的“登录”,登录当前数据库。

    4. 选择“SQL操作”> “SQL查询”进入SQL查询页面。

    5. 执行如下语句创建兼容MySQL的数据库。
      此例中为:test_database_info,请根据实际情况选择。
      CREATE DATABASE test_database_info DBCOMPATIBILITY 'mysql';

同步前检查

在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。

在同步前,您需要参考入云使用须知获取同步相关说明。

创建DRS同步任务

本章节介绍创建DRS实例,将本地MySQL上的test_info数据库同步到GaussDB实例中test_database_info数据库中。

  1. 登录华为云控制台
  2. 单击管理控制台左上角的,选择区域。

    选择目标实例所在的区域。

  3. 单击左侧的服务列表图标,选择数据库 > 数据复制服务 DRS
  4. 左侧导航栏选择“实时同步管理”,单击“创建同步任务”。
  5. 配置同步实例信息。

    1. 选择区域、项目,填写任务名称。

    2. 配置同步实例信息,选择“数据流动方向”、“源数据库引擎”、“目标数据库引擎”、“网络类型”、“DRS任务类型”、“、“目标数据库实例”、“同步实例所在子网”(非必选)、“同步模式”,选择“规格类型”和“可用区”,选填“标签”。

    3. 单击“开始创建”。

  6. 配置源库及目标库信息。

    1. 填写源库的IP、端口、用户、密码等信息。

      填写完成后,需要单击“测试连接”,测试连接信息是否正确。

    2. 填写目标库的账户和密码。

      填写完成后,需要单击“测试连接”,测试连接信息是否正确。

    3. 单击“下一步”,仔细阅读提示内容后,单击“同意,并继续”。

  7. 设置同步。

    1. 选择全量同步对象类型,如果要同步的表结构还未在目标库创建好,就勾选同步表结构(表结构包含主键和唯一键),反之则不勾。同步索引选项按实际需求视情况勾选。

    2. 选择增量冲突策略。
      • 忽略:当同步数据与目标库已有数据冲突时(主键/唯一键重复等),DRS将忽略源库的冲突数据,并保留目标库中的冲突数据,继续进行后续同步。选择忽略可能导致源库与目标库数据不一致。
      • 报错:当同步数据与目标库已有数据冲突时(主键/唯一键重复等),同步任务将失败并立即中止。可在同步日志中查看详细信息。
      • 覆盖:当同步数据与目标库已有数据冲突时(主键/唯一键重复等),将覆盖原来的冲突数据。

    3. 在源库选择需要迁移的数据库和表。本次实践中选择“test_info”中的“test_table”表。

    4. 选择完成后,可以设置迁移后是否重新命名库名和表名。

    5. 本次实践将表名重新命名为“DATATYPELIST_After”。

      注意重新命名时不要使用特殊符号,否则会导致迁移后执行SQL语句报错。

    6. 确认重命名设置内容,单击“下一步”。

  8. 高级设置。

    本页面内容仅做确认,无法修改,确认完成后单击“下一步”。

  9. 数据加工。

    在该页面可以对迁移的表进行加工。包括选择迁移的列,重新命名迁移后的列名,本次实践将“c1”重新命名为“new-line”。
    1. 选择需要加工的表。

    2. 编辑“c1”列。

    3. 将“c1”重新命名为“new-line”,单击“确定”。
    4. 单击“下一步”。

  10. 预检查。

    1. 所有配置完成后,进行预检查,确保迁移成功。
    2. 对于未通过的项目,根据检查结果中的提示信息修复,修复完成后,单击“重新校验”,直到预检查通过率为100%。

    3. 预检查全部通过后,单击“下一步”。

  11. 任务确定。

    1. 检查所有配置项是否正确。

    2. 单击“启动任务”,仔细阅读提示后,勾选“我已阅读启动前须知”。
    3. 单击“启动任务”,完成任务创建。

  12. 任务创建成功。

    任务创建成功后,返回任务列表查看创建的任务状态。

同步后数据校验

当任务状态变为“增量同步”,说明全量同步已经完成,全量同步完成后,登录GaussDB查看数据迁移结果。

  1. 等待迁移任务状态变为“增量同步”。

  2. 单击任务名称,进入任务详情页。
  3. 验证数据一致性。

    1. 在“同步对比 > 对象级对比”页面,查看库和表的迁移结果。

    2. 在“同步对比 > 数据级对比”页面,创建对比任务,查看表中行的迁移结果。

  4. 通过DAS连接GaussDB的目标库“test_database_info ”。

    DAS连接实例的方法请参考《新增数据库登录》

  5. 执行如下语句,查询全量同步结果。

    SELECT * FROM test_info.datatypelist_after;

    MySQL数据库中的模式迁移完成后,会在GaussDB库中作为Schema,所以查询语句中添加Schema精确查询。

    可查询表中的各个数据类型都迁移成功,并且数据正确无误。

  6. 验证增量同步。

    由于本次实践为“全量+增量”同步模式,全量同步完成后,如果在创建任务后有数据写入,这些写入的数据会一直同步至目标库中,直到任务结束。下面我们模拟写入另外的数据。
    1. 根据本地的MySQL数据库的IP和地址,通过数据库连接工具连接数据库。
    2. 执行如下语句,在源库插入一条数据。

      我们插入一条“id”为3的数据。

      insert into test_info.test_table values (3,'a','b','111','111','tinyblob','mediumblob','longblob','tinytext','text','mediumtext','longtext','1','3',1,2,3,4,1.123,1.1234,'2024-03-08','2024-03-08 08:00:00','2024-03-08 08:00:00','08:00:00','2024','1010','{"a":"b"}',1.23,1.234);
    3. 在目标库执行如下语句查询结果。
      SELECT * FROM test_info.datatypelist_after;

      可看到在源库新增的数据,可以实时同步至目标库。

  7. 结束迁移任务。

    根据业务情况,待业务完全迁移至目标库,可以结束当前任务。
    1. 单击“操作”列的“结束”。
    2. 仔细阅读提示后,单击“是”,结束任务。

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容