本地MySQL迁移到RDS for MySQL

网络示意图

图1 VPN网络

图2 公网网络+SSL安全连接

迁移流程

图3 迁移流程图

迁移建议（重要）

• 数据库迁移与环境多样性和人为操作均有密切关系，为了确保迁移的平顺，建议您在进行正式的数据库迁移之前进行一次演练，可以帮助您提前发现问题并解决问题，如何最小化对数据库的影响请参考如下建议。
• 强烈建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性迁移成功率，避免迁移对业务造成性能影响。

迁移须知（重要）

在创建迁移任务之前，请您务必仔细阅读迁移须知。

参考《数据复制服务实时迁移》中具体链路的“使用须知”。

迁移准备

1. 权限准备：
   当使用 DRS 将本地数据库的数据迁移到本云云数据库 RDS for MySQL 实例时，在不同迁移类型情况下，对源数据库和目标数据库的账号权限要求如表1所示：

   表1 迁移账号权限

   迁移类型	全量迁移	全量+增量迁移
   源数据库	SELECT、SHOW VIEW、EVENT。	SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。
   目标数据库	SELECT、CREATE、ALTER、DROP、DELETE、INSERT、UPDATE、INDEX、EVENT、CREATE VIEW、CREATE ROUTINE、TRIGGER、REFERENCES、WITH GRANT OPTION。 当目标库为8.0.14-8.0.18版本时，还需要有SESSION_VARIABLES_ADMIN权限。 用户迁移时，需要有mysql库的SELECT、INSERT、UPDATE、DELETE权限。

   • 源数据库的权限设置：

     需要确保源数据库MySQL的账号具备表1的权限，若权限不足，需要在源数据库端创建高权限的账号。

   • 目标数据库的权限设置：

     本云云数据库 RDS for MySQL使用初始账号即可。

2. 网络准备：
   • 源数据库的网络设置：

     本地MySQL数据库实时迁移至本云云数据库 RDS for MySQL的场景，一般可以使用VPN网络和公网网络两种方式进行迁移，您可以根据实际情况为本地MySQL数据库开放公网访问或建立VPN访问。一般推荐使用公网网络进行迁移，该方式下的数据迁移过程较为方便和经济。

   • 目标数据库的网络设置：
     • 若通过VPN访问，请先开通VPN服务，确保源数据库MySQL和目标端本云云数据库 RDS for MySQL的网络互通。
     • 若通过公网网络访问，本云云数据库 RDS for MySQL实例不需要进行任何设置。
3. 安全规则准备：
   1. 源数据库的安全规则设置：
      • 若通过公网网络进行迁移，源数据库MySQL需要将DRS迁移实例的弹性公网IP添加到其网络白名单内，使源数据库与本云的网络互通。在设置网络白名单之前，需要获取DRS迁移实例的弹性公网IP，具体方法如下：

        DRS迁移实例创建成功后，可在“源库及目标库”页面获取DRS迁移实例的弹性公网IP。

        图4 迁移实例EIP
        
      • 若通过VPN网络进行迁移，源数据库MySQL需要将DRS迁移实例的私有IP添加到其网络白名单内，使源数据库与本云的网络互通。DRS迁移实例创建成功后，可在“源库及目标库”页面获取DRS迁移实例的私有IP。

      以上白名单是为了进行迁移针对性设置的，迁移结束后可以删除。

   2. 目标数据库安全组规则设置：

      目标数据库默认与DRS迁移实例处在同一个VPC，网络是互通的，DRS可以直接写入数据到目标数据库，不需要进行任何设置。

4. 其他事项准备。

   DRS支持部分与业务和性能强相关的参数迁移，具体参数列表请参见参数列表。若涉及其他参数可以根据用户具体的业务进行手动设置。

迁移步骤

以下操作以公网网络迁移的方式为例，指导您通过DRS将本地MySQL数据库实时迁移至本云云数据库 RDS for MySQL。

1. 创建迁移任务。
   1. 登录管理控制台，在服务列表中选择“数据库 > 数据复制服务”，进入数据复制服务信息页面。
   2. 在“实时迁移管理”页面，单击右上角“创建迁移任务”，进入迁移任务信息页面。
   3. 在“迁移实例”页面，填选任务信息和迁移实例信息。
      图5 迁移实例信息
      

      表2 任务和描述

      参数	描述
      区域	当前所在区域，可进行切换。为了降低访问时延、提高访问速度，请就近选择靠近您业务的区域。
      项目	当前区域对应的项目，可进行切换。
      任务名称	任务名称在4-50位之间，必须以字母开头，不区分大小写，可以包含字母、数字、中划线或下划线，不能包含其他的特殊字符。
      描述	描述不能超过256位，且不能包含! = < > & ' " \ 特殊字符。

      表3 迁移实例信息

      参数	描述
      数据流动方向	选择“入云”。
      源数据库引擎	选择“MySQL”。
      目标数据库引擎	选择“MySQL”。
      网络类型	选择“公网网络”。建议您开启SSL安全连接，SSL约降低20-30%的迁移性能，但保证了数据的安全性。
      目标数据库实例	选择您所创建的目标RDS for MySQL实例。
      目标库读写设置	此处以“只读”设置为示例。 只读 迁移中，目标数据库将转化为只读、不可写入的状态，迁移任务结束后恢复可读写状态，此选项可有效的确保数据迁移的完整性和成功率，推荐此选项。 读写 迁移中，目标数据库可以读写，但需要避免操作或接入应用后会更改迁移中的数据（注意：无业务的程序常常也有微量的数据操作），进而形成数据冲突、任务故障、且无法修复续传，充分了解要点后可选择此选项。
      迁移模式	此处以“全量+增量”模式为示例。 全量：该模式为数据库一次性迁移，适用于可中断业务的数据库迁移场景，全量迁移将非系统数据库的全部数据库对象和数据一次性迁移至目标端数据库，包括：表、视图、存储过程等。 说明： 如果用户只进行全量迁移时，建议停止对源数据库的操作，否则迁移过程中源数据库产生的新数据不会同步到目标数据库。 全量+增量：该模式为数据库持续性迁移，适用于对业务中断敏感的场景，通过全量迁移过程中完成的目标端数据库的初始化后，增量迁移阶段通过解析日志等技术，将源端和目标端数据库保持数据持续一致。 说明： 选择“全量+增量”迁移模式，增量迁移可以在全量迁移完成的基础上实现数据的持续同步，无需中断业务，实现迁移过程中源业务和数据库继续对外提供访问。

   4. 在“源库及目标库”信息页面，迁移实例创建成功后，填选源库信息和目标库信息，单击“源库和目标库”处的“测试连接”，分别测试并确定与源库和目标库连通后，勾选协议，单击“下一步”。
      图6 源和目标库信息
      

      表4 源库信息

      参数	描述
      IP地址或域名	配置源数据库MySQL实例的访问地址或域名。
      端口	配置源数据库MySQL实例的服务端口，可输入范围为1~65535间的整数。
      数据库用户名	访问源数据库MySQL的用户名。
      数据库密码	访问源数据库MySQL的用户名所对应的密码。
      SSL安全连接	在选择公网网络进行迁移任务时，为了提升数据在网络传输过程中的安全性，建议您开启SSL安全连接，对迁移链路进行加密，如果开启，需要您上传CA证书。

      表5 目标库信息

      参数	描述
      数据库实例名称	默认为创建迁移任务时选择的已创建的RDS for MySQL实例，不可进行修改。
      数据库用户名	访问目标端RDS for MySQL实例的用户名。
      数据库密码	访问目标端RDS for MySQL实例的用户名所对应的密码。
      所有Definer迁移到该用户下	是 迁移后，所有源数据库对象的Definer都会迁移至该用户下，其他用户需要授权后才具有数据库对象权限，如何授权请参考《数据复制服务常见问题》中的MySQL迁移中Definer强制转化后如何维持原业务用户权限体系章节。 否 迁移后，将保持源数据库对象Definer定义不变，选择此选项，需要配合下一步用户权限迁移功能，将源数据库的用户全部迁移，这样才能保持源数据库的权限体系完全不变。

   5. 在“迁移设置”页面，设置流速模式、迁移用户和迁移对象。
      图7 迁移对象
      

      表6 迁移模式和迁移对象-公网

      参数	描述
      流速模式	流速模式支持限速和不限速，默认为不限速。 限速：自定义的最大迁移速度，迁移过程中的迁移速度将不会超过该速度。 当流速模式选择了“限速”时，你需要通过流速设置来定时控制迁移速度。流速设置通常包括限速时间段和流速大小的设置。默认的限速时间段为全天，您也可以根据业务需求自定义定时限速。自定义的定时限速支持最多设置3个定时任务，每个定时任务之间不能存在交叉的时间段，未设定在限速时间段的时间默认为不限速。 流速的大小需要根据业务场景来设置，不能超过9999Mb/s。 不限速：对迁移速度不进行限制，通常会最大化使用源数据库的出口带宽。该流速模式同时会对源数据库造成读消耗，消耗取决于源数据库的出口带宽。比如源数据库的出口带宽为100Mb/s，假设高速模式使用了80%带宽，则迁移对源数据库将造成80Mb/s的读操作IO消耗。 说明： 限速模式只对全量迁移阶段生效，增量迁移阶段不生效。 您也可以在创建任务后修改流速模式。操作方法为：在“实时迁移管理”页面的迁移列表中，选择需要修改流速模式的任务，单击操作列的“更多>限速”，或“限速”。
      是否过滤DROP DATABASE	迁移过程中，源数据库端执行的DDL操作在一定程度上会影响数据的同步能力，为了降低同步数据的风险，数据复制服务提供了过滤DDL操作的功能。 目前支持默认过滤删除数据库的操作。 是，表示实时同步过程中不会同步用户在源数据库端执行的删除数据库的操作。 否，则表示实时同步过程中将相关操作同步到目标库。 说明： 该功能只支持过滤DDL的删除数据库操作，不支持过滤存储过程。
      迁移用户	数据库的迁移过程中，迁移用户需要进行单独处理。 常见的迁移用户一般分为三类：可完整迁移的用户、需要降权的用户和不可迁移的用户。您可以根据业务需求选择“迁移”或者“不迁移”，选择“迁移”后，可根据需要选择迁移用户。 迁移 当您选择迁移用户时，请参见《数据复制服务用户指南》中“迁移用户”章节进行数据库用户、权限及密码的处理。 不迁移 迁移过程中，将不进行用户和权限的迁移。
      迁移对象	迁移对象选择的粒度可以为数据库的全对象，对象迁移到目标数据库实例后，对象名将会保持与源数据库实例对象名一致且无法修改。 您可以根据业务需求，选择全部对象迁移或者自定义迁移对象。 全部迁移：将源数据库中的所有对象全部迁移至目标数据库。 自定义对象：将自定义选择的对象迁移至目标数据库。 说明： 若选择部分数据库进行迁移时，由于存储过程、视图等对象可能与其他数据库的表存在依赖关系，若所依赖的表未迁移，则会导致迁移失败。建议您在迁移之前进行确认，或选择全部数据库进行迁移。

   6. 单击“下一步”,在“预检查”页面，进行迁移任务预校验，校验是否可进行任务迁移。
      • 查看检查结果，如有不通过的检查项，需要修复不通过项后，单击“重新校验”按钮重新进行迁移任务预校验。
      • 预检查完成后，且所有检查项结果均成功时，单击“下一步”。
   7. 进入“参数对比”页面，进行参数对比。
      参数对比功能从常规参数和性能参数两个维度，展示了源数据库和目标数据库的参数值是否一致。您可以根据业务需求，决定是否选用该功能。该操作不影响数据的迁移，主要目的是为了确保迁移成功后业务应用的使用不受影响。

      • 若您选择不进行参数对比，可跳过该步骤，单击页面右下角“下一步”按钮，继续执行后续操作。
      • 若您选择进行参数对比，请参照如下的步骤操作。

        一般情况下，对于常规参数，如果源库和目标库存在不一致的情况，建议将目标数据库的参数值通过“一键修改”按钮修改为和源库对应参数相同的值。

        图8 修改常规参数
        

        对于性能参数，您可以根据业务场景，自定义源数据库和目标库的参数值，二者结果可以一致也可以不一致。

        • 若您需要将对比结果一致的性能参数修改为不一致，需要在“目标库值调整为”一列手动输入结果，单击左上角“一键修改”按钮，即可将源数据库和目标数据库对应的性能参数值改为不一致。
        • 若您想将对比结果不一致的参数改为一致结果，请参考如下流程进行修改：
          1. 对齐源库和目标库的参数值。

             当源库和目标库对应的参数值出现不一致时，选择需要修改的参数，单击“一键对齐”按钮，系统将帮您自动填充目标数据库的参数值，使其和源库对应的参数值保持一致。

             图9 一键对齐参数
             
             

             对齐参数值的操作，您也可以通过手动输入结果。

          2. 修改参数值。

             源库和目标库的不一致参数值对齐后，单击“一键修改”按钮，系统将按照您当前设置的目标库参数值进行修改。修改完成后，目标库的参数值和对比结果会自动进行更新。

             图10 修改性能参数
             

             部分参数修改后无法在目标数据库立即生效，需要重启才能生效，此时的对比结果显示为“待重启，不一致”。建议您在迁移任务启动之前重启目标数据库，或者迁移结束后选择一个计划时间重启。如果您选择迁移结束后重启目标数据库，请合理设置重启计划时间，避免参数生效太晚影响业务的正常使用。

             在进行参数对比功能时，您可以参见《数据复制服务用户指南》中“参数对比列表”进行参数设置。

          3. 参数对比操作完成后，单击“下一步”。
   8. 在“任务确认”页面，设置迁移任务的启动时间、任务异常通知设置、SMN主题、时延阈值、任务异常自动结束时间，并确认迁移任务信息无误后，单击“启动任务”，提交迁移任务。
      图11 任务启动设置
      

      表7 任务启动设置

      参数	描述
      启动时间	迁移任务的启动时间可以根据业务需求，设置为“立即启动”或“稍后启动”，优选“稍后启动”。 说明： 预计迁移任务启动后，会对源数据库和目标数据库的性能产生影响，建议您将任务启动时间设定在业务低峰期，同时预留2-3天校对数据。
      任务异常通知设置	该项为可选参数，开启之后，选择对应的SMN主题。当迁移任务状态异常时，系统将发送通知。
      SMN主题	“任务异常通知设置”项开启后可见，需提前在SMN上申请主题并添加订阅。 SMN主题申请和订阅可参考《消息通知服务用户指南》。
      时延阈值	在增量迁移阶段，源数据库和目标数据库之间的实时同步有时会存在一个时间差，称为时延，单位为秒。 时延阈值设置是指时延超过一定的值后（时延阈值范围为0—3600s），DRS可以发送告警通知。告警通知将在时延稳定超过设定的阈值6min后发送，避免出现由于时延波动反复发送告警通知的情况。 说明： 首次进入增量迁移阶段，会有较多数据等待同步，存在较大的时延，属于正常情况，不在此功能的监控范围之内。 设置时延阈值之前，需要设置任务异常通知。 当时延阈值设置为0时，不会发送通知给收件人。
      任务异常自动结束时间（天）	设置任务异常自动结束天数，输入值必须在14-100之间，默认值14。 说明： 异常状态下的任务仍然会计费，而长时间异常的任务无法续传和恢复。设置任务异常自动结束天数后，异常且超时的任务将会自动结束，以免产生不必要的费用。

   9. 迁移任务提交后，您可以返回“实时迁移管理”页面，查看迁移任务状态。

2. 任务管理。
   迁移任务启动后，会经历全量迁移和增量迁移两个阶段，对于不同阶段的迁移任务，您可以进行任务管理。

   • 全量迁移
     • 查看迁移进度：全量迁移中的任务，您可单击任务名称，在“迁移进度”页签下，查看全量迁移进度，您可以查看结构、数据、索引迁移的进度，也查看具体迁移对象的迁移进度。当全量迁移进度显示为100%，表示全量迁移已经完成。
     • 查看迁移明细：迁移明细中，您可以查看具体迁移对象的迁移进度，当“对象数目”和“已迁移对象”相等时，表示该对象已经迁移完成，可通过“查看详情”查看每个对象的迁移进度。仅白名单用户该支持功能，您可以通过提交工单的方式进行申请使用。
   • 增量迁移
     • 查看时延监控：全量迁移完成后，开始进行增量迁移。对于增量迁移中的任务，您可单击任务名称，在“迁移进度”页签下，查看增量迁移同步时延，当时延为0s时，说明源数据库和目标数据库的数据是实时同步的。您也可以使用“迁移对比”页签查看一致性。
       图12 查看时延监控
       
     • 查看迁移对比：为了尽可能减少业务的影响和业务中断时间，增量迁移中的任务，您可单击任务名称，在“迁移对比”页签下，建议按照如下流程进行迁移对比，以便确定合适的业务割接时机。
       图13 迁移对比流程
       

       具体的迁移对比操作及注意事项请参考《数据复制服务用户指南》中“对比迁移项”章节。

3. 割接建议。

   建议您选择一个业务低峰期，开始正式系统割接流程。割接前，请您确认至少在业务低峰期有过一次完整的数据对比。可以结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

   1. 先中断业务（如果业务负载非常轻，也可以尝试不中断业务）。
   2. 在源数据库端执行如下语句，并观察在1-5分钟内若无任何新会话执行SQL ，则可认为业务已经完全停止。

      show processlist

      

      上述语句查询到的进程列表中，包括DRS迁移实例的连接，您需要确认除DRS迁移实例的连接外无任何新会话执行SQL，即可认为业务已经完全停止。

   3. 通过DRS迁移任务监控页面进行观察同步时延，保持实时同步时延为0，并稳定保持一段时间；同时，您可以使用数据级对比功能，进行割接前的最后一次数据级对比，耗时可参考之前的对比记录。
      • 如果时间允许，则选择全部对比。
      • 如果时间不允许，则推荐对比活跃表，关键业务表，第二步对比多次存在差异的表等。
   4. 确定系统割接时机，业务系统指向本云数据库，业务对外恢复使用，迁移完成。

4. 迁移结束。
   1. 结束迁移任务：业务系统和数据库切换至本云后，为了防止源数据库的操作继续同步到目标数据库，造成数据覆盖问题，此时您可选择结束迁移任务，该操作仅删除了迁移实例，迁移任务仍显示在任务列表中，您可以进行查看或删除。结束迁移任务后，DRS将不再计费。
   2. 删除迁移任务：对于已结束的迁移任务，您可选择删除任务。该操作将一并删除迁移任务，删除迁移任务后，该任务将不会出现在任务列表中。