文档首页 > > 最佳实践> 本地数据库在线迁移> MySQL数据库迁移

MySQL数据库迁移

分享
更新时间: 2019/11/21 GMT+08:00

数据复制服务(Data Replication Service,简称DRS)支持将本地MySQL数据库的数据迁移至华为云云数据库MySQL实例。通过DRS提供的在线迁移任务,实现在数据库迁移过程中业务和数据库不停机,业务中断时间最小化。

本章节主要介绍了通过DRS将本地MySQL数据库在线迁移至华为云云数据库MySQL的任务配置流程。支持以下网络类型:

  • VPN(Virtual Private Network,虚拟专用网络)网络
  • 公网网络

网络示意图

图1 VPN网络
图2 公网网络+SSL安全连接

迁移流程

图3 迁移流程图

迁移建议(重要)

  • 在进行正式的数据库迁移之前,建议您使用测试或者类生产数据库进行一次迁移预演,可以帮助您提前发现问题并解决问题,用于测试的库在数量级和对象类型上最好能和生产库类似。
  • 建议您选择业务低峰期开始正式的数据库迁移,因为全量数据迁移会对源数据库有较大的访问压力。

迁移须知(重要)

在创建迁移任务之前,请您务必仔细阅读迁移须知。

参考《数据复制服务快速入门》中的“使用须知”章节。

迁移准备

  1. 权限准备:
    当使用 DRS 将本地数据库的数据迁移到华为云云数据库MySQL 实例时,在不同迁移类型情况下,对源数据库和目标数据库的帐号权限要求如 表1所示:
    表1 迁移帐号权限

    迁移类型

    全量迁移

    增量迁移

    源数据库

    SELECT、SHOW VIEW、EVENT。

    SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。

    目标数据库

    SELECT、CREATE、DROP、DELETE、INSERT、UPDATE、INDEX、EVENT、CREATE VIEW、CREATE ROUTINE、TRIGGER、WITH GRANT OPTION。

    SELECT、CREATE、DROP、DELETE、INSERT、UPDATE、INDEX、EVENT、CREATE VIEW、CREATE ROUTINE、TRIGGER、WITH GRANT OPTION。

    • 源数据库的权限设置:

      需要确保源数据库MySQL的帐号具备表1的权限,若权限不足,需要在源数据库端创建高权限的帐号。

    • 目标数据库的权限设置:

      华为云云数据库MySQL使用初始帐号即可。

  2. 网络准备:
    • 源数据库的网络设置:

      本地MySQL数据库在线迁移至华为云云数据库MySQL的场景,一般可以使用VPN网络和公网网络两种方式进行迁移,您可以根据实际情况为本地MySQL数据库开放公网访问或建立VPN访问。一般推荐使用公网网络进行迁移,该方式下的数据迁移过程较为方便和经济。

    • 目标数据库的网络设置:
      • 若通过VPN访问,请先开通华为VPN服务,确保源数据库MySQL和目标端华为云云数据库MySQL的网络互通。
      • 若通过公网网络访问,华为云云数据库MySQL实例不需要进行任何设置。
  3. 安全规则准备:
    1. 源数据库的安全规则设置:
      • 若通过公网网络进行迁移,源数据库MySQL需要将DRS迁移实例的弹性公网IP添加到其网络白名单内,使源数据库与华为云的网络互通。在设置网络白名单之前,需要获取DRS迁移实例的弹性公网IP,具体方法如下:

        DRS迁移实例创建成功后,可在“源库及目标库”页面获取DRS迁移实例的弹性公网IP。

        图4 迁移实例EIP
      • 若通过VPN网络进行迁移,源数据库MySQL需要将DRS迁移实例的私有IP添加到其网络白名单内,使源数据库与华为云的网络互通。DRS迁移实例创建成功后,可在“源库及目标库”页面获取DRS迁移实例的私有IP。

      以上白名单是为了进行迁移针对性设置的,迁移结束后可以删除。

    2. 目标数据库安全规则设置:

      目标数据库默认与DRS迁移实例处在同一个VPC,网络是互通的,DRS可以直接写入数据到目标数据库,不需要进行任何设置。

  4. 其他事项准备。

    DRS支持部分与业务和性能强相关的参数迁移,具体参数列表请参见参数列表。若涉及其他参数需要根据用户具体的业务进行手动设置。

迁移步骤

以下操作以公网网络迁移的方式为例,指导您通过DRS将本地MySQL数据库在线迁移至华为云云数据库MySQL。

  1. 创建迁移任务

    1. 登录管理控制台,在服务列表中选择数据库 > 数据复制服务,进入数据复制服务信息页面。
    2. “在线迁移管理”页面,单击右上角“创建迁移任务”,进入迁移任务信息页面。
    3. 在“迁移实例”页面,填选任务信息和迁移实例信息。
      图5 任务信息
      表2 任务信息

      参数

      描述

      任务名称

      任务名称在4位到64位之间,必须以字母开头,不区分大小写,可以包含字母、数字、中划线或下划线,不能包含其他的特殊字符。

      任务异常通知设置

      该项为可选参数,开启之后,需要填写手机号码或者邮箱作为指定收件人。当迁移任务状态异常时,系统将发送通知给指定收件人。

      说明:

      收到确认短信或邮件之后,需要在48小时内处理,否则该功能订阅无效。

      时延阈值

      增量迁移中,源数据库和目标数据库之间的同步有时会存在一个时间差,称为时延,单位为秒。

      时延阈值设置是指时延超过一定的值后(时间阈值范围为1—3600s),DRS可以发送通知给指定收件人。

      说明:

      首次进入增量迁移阶段,会有较多数据等待同步,存在较大的时延,属于正常情况,不在此功能的监控范围之内。

      描述

      描述不能超过256位,且不能包含!=<>&'"特殊字符。

      表3 迁移实例信息

      参数

      描述

      数据流动方向

      选择入云。

      源数据库引擎

      选择MySQL数据库引擎。

      目标数据库引擎

      选择MySQL数据库引擎。

      网络类型

      选择公网网络。建议您开启SSL安全连接,SSL约降低20-30%的迁移性能,但保证了数据的安全性。

      目标数据库实例

      选择您所创建的目标MySQL实例。

      目标库读写设置

      此处以只读设置为示例。

      • 只读

        迁移中,目标数据库将转化为只读、不可写入的状态,迁移任务结束后恢复可读写状态,此选项可有效的确保数据迁移的完整性和成功率,推荐此选项。

      • 读写

        迁移中,目标数据库可以读写,但需要避免操作或接入应用后会更改迁移中的数据(注意:无业务的程序常常也有微量的数据操作),进而形成数据冲突、任务故障、且无法修复续传,充分了解要点后可选择此选项。

      迁移模式

      此处以全量+增量模式为示例。

      • 全量:该模式为数据库一次性迁移,适用于可中断业务的数据库迁移场景,全量迁移将非系统数据库的全部数据库对象和数据一次性迁移至目标端数据库,包括:表、视图、存储过程等。
        说明:

        如果用户只进行全量迁移时,建议停止对源数据库的操作,否则迁移过程中源数据库产生的新数据不会同步到目标数据库。

      • 全量+增量:该模式为数据库持续性迁移,适用于对业务中断敏感的场景,通过全量迁移过程中完成的目标端数据库的初始化后,增量迁移阶段通过解析日志等技术,将远端和目标端数据库保持数据持续一致。
      说明:

      选择“全量+增量”迁移模式,增量迁移可以在全量迁移完成的基础上实现数据的持续同步,无需中断业务,实现迁移过程中源业务和数据库继续对外提供访问。

    4. “源库及目标库”信息页面,迁移实例创建成功后,填选源库信息和目标库信息,建议您单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”
      图6 源库及目标库信息
      表4 源库信息

      参数

      描述

      IP地址或域名

      配置源数据库MySQL实例的访问地址或域名。

      端口

      配置源数据库MySQL实例的服务端口,可输入范围为1~65535间的整数。

      数据库用户名

      访问源数据库MySQL的用户名。

      数据库密码

      访问源数据库MySQL的用户名所对应的密码。

      SSL安全连接

      在选择公网网络进行迁移任务时,为了提升数据在网络传输过程中的安全性,建议您开启SSL安全连接,对迁移链路进行加密,如果开启,需要您上传CA证书。

      表5 目标库信息

      参数

      描述

      数据库实例名称

      默认为创建迁移任务时选择的已创建的MySQL实例,不可进行修改。

      数据库用户名

      访问目标端MySQL实例的用户名。

      数据库密码

      访问目标端MySQL实例的用户名所对应的密码。

      所有Definer迁移到该用户下

      • 迁移后,所有源数据库对象的Definer都会迁移至该用户下,其他用户需要授权后才具有数据库对象权限,如何授权请参考《数据复制服务常见问题》中的MySQL迁移中Definer强制转化后如何维持原业务用户权限体系章节。

      • 迁移后,将保持源数据库对象Definer定义不变,选择此选项,需要配合下一步用户权限迁移功能,将源数据库的用户全部迁移,这样才能保持源数据库的权限体系完全不变。

    5. “迁移设置”页面,设置流速模式、迁移用户和迁移对象。
      图7 迁移对象
      表6 迁移模式和迁移对象-公网

      参数

      描述

      流速模式

      流速模式支持限速和不限速,默认为不限速。

      • 限速:自定义的最大迁移速度,迁移过程中的迁移速度将不会超过该速度。

        当流速模式选择了“限速”时,你需要通过流速设置来定时控制迁移速度。流速设置通常包括限速时间段和流速大小的设置。默认的限速时间段为全天,您也可以根据业务需求自定义定时限速。自定义的定时限速支持最多设置3个定时任务,每个定时任务之间不能存在交叉的时间段,未设定在限速时间段的时间默认为不限速。

        流速的大小需要根据业务场景来设置,不能超过9999Mb/s。

      • 不限速:对迁移速度不进行限制,通常会最大化使用源数据库的出口带宽。该流速模式同时会对源数据库造成读消耗,消耗取决于源数据库的出口带宽。比如源数据库的出口带宽为100Mb/s,假设高速模式使用了80%带宽,则迁移对源数据库将造成80Mb/s的读操作IO消耗。
        说明:
        • 限速模式只对全量迁移阶段生效,增量迁移阶段不生效。
        • 限速模式只针对加入白名单的用户生效,其他用户无法进行设置,您可以通过提交工单申请使用。

      是否过滤DROP DATABASE

      数据同步过程中,源数据库端执行的DDL操作在一定程度上会影响数据的同步能力,为了降低同步数据的风险,数据复制服务提供了过滤DDL操作的功能。

      目前支持默认过滤删除数据库的操作。

      • 是,表示数据同步过程中不会同步用户在源数据库端执行的删除数据库的操作。
      • 否,则表示数据同步过程中将相关操作同步到目标库。
      说明:

      该功能只支持过滤DDL的删除数据库操作,不支持过滤存储过程。

      迁移用户

      数据库的迁移过程中,迁移用户需要进行单独处理。

      常见的迁移用户一般分为三类:可完整迁移的用户、需要降权的用户和不可迁移的用户。您可以根据业务需求选择“迁移”或者“不迁移”,选择“迁移”后,可根据需要选择迁移用户。

      • 迁移

        当您选择迁移用户时,请参见《数据复制服务用户指南》中“迁移用户”章节进行数据库用户、权限及密码的处理。

      • 不迁移

        迁移过程中,将不进行用户和权限的迁移。

      迁移对象

      迁移对象选择的粒度可以为数据库的全对象,对象迁移到目标数据库实例后,对象名将会保持与源数据库实例对象名一致且无法修改。

      您可以根据业务需求,选择全部对象迁移或者自定义迁移对象。

      • 全部迁移:将源数据库中的所有对象全部迁移至目标数据库。
      • 自定义对象:将自定义选择的对象迁移至目标数据库。
      说明:

      若选择部分数据库进行迁移时,由于存储过程、视图等对象可能与其他数据库的表存在依赖关系,若所依赖的表未迁移,则会导致迁移失败。建议您在迁移之前进行确认,或选择全部数据库进行迁移。

    6. “预检查”页面,进行迁移任务预校验,校验是否可进行任务迁移。
      • 查看检查结果,如有失败的检查项,需要修复失败项后,单击“重新校验”按钮重新进行迁移任务预校验。

        预检查失败项处理建议请参见《数据复制服务用户指南》中的“预检查失败项修复方法”。

      • 预检查完成后,且所有检查项结果均成功时,单击“下一步”
      图8 预检查

      所有检查项结果均成功时,若存在告警,需要阅读并确认告警详情后才可以继续执行下一步操作。

    7. 进入“参数对比”页面,进行参数对比。
      参数对比功能从常规参数和性能参数两个维度,展示了源数据库和目标数据库的参数值是否一致。您可以根据业务需求,决定是否选用该功能。该操作不影响数据的迁移,主要目的是为了确保迁移成功后业务应用的使用不受影响。
      • 若您选择不进行参数对比,可跳过该步骤,单击页面右下角“下一步”按钮,继续执行后续操作。
      • 若您选择进行参数对比,请参照如下的步骤操作。

        一般情况下,对于常规参数,如果源库和目标库存在不一致的情况,建议将目标数据库的参数值通过“一键修改”按钮修改为和源库对应参数相同的值。

        图9 修改常规参数

        对于性能参数,您可以根据业务场景,自定义源数据库和目标库的参数值,二者结果可以一致也可以不一致。

        • 若您需要将对比结果一致的性能参数修改为不一致,需要在“目标库值调整为”一列手动输入结果,单击左上角“一键修改”按钮,即可将源数据库和目标数据库对应的性能参数值改为不一致。
        • 若您想将对比结果不一致的参数改为一致结果,请参考如下流程进行修改:
          1. 对齐源库和目标库的参数值。

            当源库和目标库对应的参数值出现不一致时,选择需要修改的参数,单击“一键对齐”按钮,系统将帮您自动填充目标数据库的参数值,使其和源库对应的参数值保持一致。

            图10 一键对齐参数

            对齐参数值的操作,您也可以通过手动输入结果。

          2. 修改参数值。

            源库和目标库的不一致参数值对齐后,单击“一键修改”按钮,系统将按照您当前设置的目标库参数值进行修改。修改完成后,目标库的参数值和对比结果会自动进行更新。

            图11 修改性能参数

            部分参数修改后无法在目标数据库立即生效,需要重启才能生效,此时的对比结果显示为“待重启,不一致”。建议您在迁移任务启动之前重启目标数据库,或者迁移结束后选择一个计划时间重启。如果您选择迁移结束后重启目标数据库,请合理设置重启计划时间,避免参数生效太晚影响业务的正常使用。

            在进行参数对比功能时,您可以参见《数据复制服务用户指南》中“参数对比列表”进行参数设置。

          3. 参数对比操作完成后,单击“下一步”。
    8. “任务确认”页面,选择迁移任务的启动时间,单击“启动任务”,提交迁移任务。
      图12 任务确认
    9. 迁移任务提交后,您可以返回“在线迁移管理”页面,查看迁移任务状态。

  2. 任务管理

    迁移任务启动后,会经历全量迁移和增量迁移两个阶段,对于不同阶段的迁移任务,您可以进行任务管理。
    • 全量迁移
      查看迁移进度:全量迁移中的任务,您可单击任务名称,在 “迁移进度”页签下,查看全量迁移完成剩余时间,了解全量迁移的进度。当全量迁移进度显示为100%,表示全量迁移已经完成。
      图13 查看迁移进度
    • 增量迁移
      • 查看时延监控:全量迁移完成后,开始进行增量迁移。对于增量迁移中的任务,您可单击任务名称,在“迁移进度”页签下,查看增量迁移同步时延,当时延为0s时,说明源数据库和目标数据库的数据是实时同步的。
        图14 查看时延监控
      • 查看迁移对比:为了尽可能减少业务的影响和业务中断时间,增量迁移中的任务,您可单击任务名称,在“迁移对比”页签下,建议按照如下流程进行迁移对比,以便确定合适的业务割接时机。
        图15 迁移对比流程

        具体的迁移对比操作及注意事项请参考《数据复制服务用户指南》中“对比迁移项”章节。

  3. 割接建议

    建议您选择一个业务低峰期,开始正式系统割接流程。

    1. 先中断业务(如果业务负载非常轻,也可以尝试不中断业务)。
    2. 在源数据库端执行如下语句,并观察在1-5分钟内若无任何新会话执行SQL ,则可认为业务已经完全停止。
      show processlist

      上述语句查询到的进程列表中,包括DRS迁移实例的连接,您需要确认除DRS迁移实例的连接外无任何新会话执行SQL,即可认为业务已经完全停止。

    3. 通过DRS迁移任务监控页面进行观察同步时延,当保持数据同步时延为0,并稳定保持一段时间,同时您可以通过迁移对比功能,观察源数据库和目标数据库对比情况。
    4. 确定系统割接时机,业务系统指向华为云数据库,业务对外恢复使用,迁移完成。

  4. 迁移结束

    1. 结束迁移任务:业务系统和数据库切换至华为云后,为了防止源数据库的操作继续同步到目标数据库,造成数据覆盖问题,此时您可选择结束迁移任务,该操作仅删除了迁移实例,迁移任务仍显示在任务列表中,您可以进行查看或删除。结束迁移任务后,DRS将不再计费。
    2. 删除迁移任务:对于已结束的迁移任务,您可选择删除任务。该操作将一并删除迁移任务,删除迁移任务后,该任务将不会出现在任务列表中。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区