# ECS自建MongoDB迁移DDS #### 操作场景 数据复制服务（Data Replication Service，简称DRS）支持将ECS自建数据库的数据迁移到本云文档数据库服务（Document Database Service，以下简称DDS）实例。通过DRS提供的实时迁移任务，实现在数据库迁移过程中业务和数据库不停机，业务中断时间最小化。 本章节主要介绍了通过DRS将ECS自建数据库实时迁移至本云DDS的任务配置流程。支持以下网络场景： - 源数据库和目标数据库属于同一个VPC网络内 - 源数据库和目标数据库属于不同VPC网络内 #### 资源规划 表1资源规划 | 类别 | 子类 | 规划 | 备注 | |:---|:---|:---|:---| | VPC | VPC名称 | vpc-dds | 自定义，易理解可识别。 | | VPC | 所属Region | 华南-广州 | 选择和自己业务区最近的Region，减少网络时延。 | | VPC | 可用区 | 可用区一 | - | | VPC | 子网网段 | 10.0.0.0/24 | 子网选择时建议预留足够的网络资源。 | | VPC | 子网名称 | subnet-default | 自定义，易理解可识别。 | | ECS | ECS名称 | ecs-mongodb | 自定义，易理解可识别。 | | ECS | 规格 | s6.xlarge.2 4vCPUs\|8GiB | 本示例中选择的规格。 实际选择的规格需要结合业务场景选择，请参考[弹性云服务器的实例规格](https://support.huaweicloud.com/productdesc-ecs/ecs_01_0008.html)。 | | ECS | 操作系统 | CentOS 7.6 64 | - | | ECS | 系统盘 | 通用型SSD 40GiB | - | | ECS | 数据盘 | 超高IO 100GiB | - | | ECS | 弹性IP | 现在购买 | 因为迁移任务会选择"公网网络"，因此此处需要购买弹性IP。 | | DDS | DDS 实例名 | dds-test | 自定义，易理解可识别。 | | DDS | 数据库引擎 | DDS | - | | DDS | 兼容的数据库版本 | 4.4 | - | | DDS | 可用区类型 | 单可用区 | - | | DDS | 可用区 | 可用区一 | - | | DDS | 性能规格 | 增强Ⅱ型 | - | | DDS | CPU架构 | X86 8 vCPUs \| 32GB | - | | DRS迁移任务 | 迁移任务名 | DRS-dds | 自定义。 | | DRS迁移任务 | 源数据库引擎 | MongoDB | 本示例中源数据库为自建MongoDB，即在华为云弹性云服务器上安装社区版MongoDB。 | | DRS迁移任务 | 目标数据库引擎 | DDS | 本示例中目标数据库为华为云DDS实例。 | | DRS迁移任务 | 网络类型 | 公用网络 | 本示例中采用公用网络。 | #### 网络示意图 图1同一VPC网络 ![](https://support.huaweicloud.com/bestpractice-dds/zh-cn_image_0000002350963613.png "点击放大") 图2同区域不同VPC网络 ![](https://support.huaweicloud.com/bestpractice-dds/zh-cn_image_0000002351083793.png "点击放大") #### 迁移流程 图3迁移流程图 ![](https://support.huaweicloud.com/bestpractice-dds/zh-cn_image_0000001213229532.png "点击放大") #### 迁移建议**（重要）** - 数据库迁移与环境多样性和人为操作均有密切关系，为了确保迁移的平顺，建议您在进行正式的数据库迁移之前进行一次演练，可以帮助您提前发现问题并解决问题，如何最小化对数据库的影响请参考如下建议。 - 强烈建议您在启动任务时选择"稍后启动"功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性迁移成功率，避免迁移对业务造成性能影响。 #### 迁移须知**（重要）** ![](https://support.huaweicloud.com/bestpractice-dds/public_sys-resources/notice_3.0-zh-cn.png) 在创建迁移任务之前，请您务必仔细阅读迁移须知。 - 支持的源和目标数据库 表2支持的数据库 | 源数据库 | 目标数据库 | |:---|:---| | - 本地自建Mongo数据库（3.2、3.4、3.6、4.0、4.2、4.4、5.0版本） - ECS自建Mongo数据库（3.2、3.4、3.6、4.0、4.2、4.4、5.0版本） - 其他云上Mongo数据库（3.2、3.4、3.6、4.0、4.2、4.4、5.0版本 - DDS实例（3.2、3.4、4.0、4.2、4.4、5.0版本） 说明： 源数据库为DDS 3.2版本集群实例时，仅支持单全量迁移，不支持增量迁移。 DDS 5.0版本当前仅支持副本集，不支持集群。 1. 如果源库选择DDS实例，则此链路的数据库引擎是"DDS"，否则，此链路的数据库引擎是"MongoDB（数据库种类）。 | - DDS实例（3.4、4.0、4.2、4.4、5.0版本） 说明： 仅支持目标库版本等于或高于源库版本。 DDS 5.0版本当前仅支持副本集，不支持集群。 | 可通过以下命令，查询源数据库版本是否符合要求的内容： ``` db.version() ``` - 若迁移模式选择"全量+增量"迁移，源数据库Oplog日志必须打开，该日志会占用一定的磁盘空间，需要保证源端磁盘有一定冗余，Oplog日志保留周期最少3天，可以根据迁移数据量实际设置。 其他详情请参考《数据复制服务实时迁移》中具体链路的"[使用须知](https://support.huaweicloud.com/realtimemig-drs/drs_online_migration.html)"。 #### 迁移准备 1. **权限准备：** 当使用 DRS 将ECS自建MongoDB数据库的数据迁移到本云DDS实例时，在不同迁移类型情况下，对源数据库和目标数据库的账号权限要求如[表3]： 表3迁移账号权限 | **迁移类型** | **全量迁移** | **全量+** **增量迁移** | |:---|:---|:---| | 源数据库 | - 副本集：连接源数据库的用户需要对待迁移库有read权限。 - 单节点：连接源数据库的用户需要对待迁移库有read权限。 - 集群：连接源数据库的用户需要对待迁移库有read权限，对config数据库有read权限。 - 如果需要迁移源数据库用户和角色信息，连接源数据库的用户需要对admin数据库的系统表system.users，system.roles有读权限。 | - 副本集：连接源数据库的用户需要对待迁移库有read权限，对local数据库有read权限。 - 单节点：连接源数据库的用户需要对待迁移库有read权限，对local数据库有read权限。 - 集群：连接源数据库mongos节点的用户需要对待迁移库有read权限，对config数据库有read权限， 连接源数据库分片节点的用户需要对admin数据库有readAnyDatabase权限，对local数据库有read权限。 - 如果需要迁移源数据库用户和角色信息，连接源数据库的用户需要对admin数据库的系统表system.users，system.roles有读权限。 | | 目标数据库 | 连接目标数据库的用户需要对admin数据库有dbAdminAnyDatabase权限，对目标数据库有readWrite权限。对于目标数据库是集群的实例，迁移账号还要有对config数据的读权限 || - **源数据库权限设置：** 需要确保源数据库MongoDB的账号权限具备[表3]的要求。若权限不足，需要在源数据库端开通高权限的账号。 - **目标数据库权限设置：** 本云DDS实例使用初始账号即可。 2. **网络准备：** - 源数据库所在的region需要和目标DDS所在的region保持一致。 - 源数据库可以与目标DDS实例在同一个VPC，也可以不在同一个VPC。 - 当不在同一个VPC的时候，要求源数据库实例和目标端DDS实例所处的子网处于不同网段，此时需要通过建立对等连接实现网络互通。 具体操作请参见《虚拟私有云用户指南》中"[VPC对等连接](https://support.huaweicloud.com/usermanual-vpc/zh-cn_topic_0046655036.html)"章节。 - 当在同一VPC的时候，网络默认是互通的。 3. **安全规则准备：** - 同一VPC场景下，默认网络是连通的，不需要单独设置安全组。 - 不同VPC场景下，通过建立对等连接就可以实现网络互通，不需要单独设置安全组。 4. **其他事项准备：** 由于迁移过程不会迁移MongoDB数据库的相关参数，需要自行将上述信息导出后，手动添加到目标DDS中。 #### 迁移步骤 1. **创建迁移任务** **。** 1. 登录管理控制台，在服务列表中选择"数据库 \> 数据复制服务"，进入数据复制服务信息页面。 2. 在"实时迁移管理"页面，单击右上角"创建迁移任务"，进入迁移任务信息页面。 3. 在"迁移实例"页面，填选任务名称、通知收件人、描述和迁移实例信息。 图4迁移实例信息 ![](https://support.huaweicloud.com/bestpractice-dds/zh-cn_image_0000002317164758.png "点击放大") 表4任务和描述 | **参数** | **描述** | |:---|:---| | 区域 | 当前所在区域，可进行切换。为了降低访问时延、提高访问速度，请就近选择靠近您业务的区域。 | | 项目 | 当前区域对应的项目，可进行切换。 | | 任务名称 | 任务名称在4-50位之间，必须以字母开头，不区分大小写，可以包含字母、数字、中划线或下划线，不能包含其他的特殊字符。 | | 描述 | 描述不能超过256位，且不能包含! = \< \> \& ' " \\ 特殊字符。 | 表5迁移实例信息 | **参数** | **描述** | |:---|:---| | 数据流动方向 | 选择入云。 | | 源数据库引擎 | 选择"MongoDB"。 | | 目标数据库引擎 | 选择"DDS"。 | | 网络类型 | 选择"VPC网络"。 | | 目标数据库实例 | 您所创建的本云DDS实例。 | | 迁移模式 | 此处以全量+增量模式为示例。 - 全量：该模式为数据库一次性迁移，适用于可中断业务的数据库迁移场景，全量迁移将非系统数据库的全部数据库对象和数据一次性迁移至目标端数据库，包括：表、视图、存储过程等。 说明： 如果用户只进行全量迁移时，建议停止对源数据库的操作，否则迁移过程中源数据库产生的新数据不会同步到目标数据库。 - 全量+增量：该模式为数据库持续性迁移，适用于对业务中断敏感的场景，通过全量迁移过程中完成的目标端数据库的初始化后，增量迁移阶段通过解析日志等技术，将源端和目标端数据库保持数据持续一致。 说明： 选择"全量+增量"迁移模式，增量迁移可以在全量迁移完成的基础上实现数据的持续同步，无需中断业务，实现迁移过程中源业务和数据库继续对外提供访问。 | | 源数据库实例类型 | 迁移模式为"全量+增量"时，需要根据源数据库的具体来源进行设置。此处以"非集群"为示例。 - 当源库类型属于集群时，该项需要设置为集群。 - 当源库类型属于副本集或者单节点时，该项需要设置为非集群。 | | 增量数据获取方式 | 当源端实例类型设置为"集群"时，增量同步时需要选择数据获取方式。 - oplog：支持MongoDB 3.2及以上版本，DRS直接连接源数据库实例的每一个Shard进行数据抽取。选择此方式时，必须关闭源库实例集合均衡器Balancer，测试连接时需要填写源数据库每一个Shard的连接信息。 - changeStream：支持MongoDB 4.0及以上版本，DRS连接源数据库实例的mongos进行数据抽取，选择此方式时，源数据库实例必须开启WiredTiger存储引擎，推荐此选项。 说明： "changeStream"方式目前仅支持白名单用户，需要提交工单申请才能使用。您可以在管理控制台右上角，选择"工单 \> 新建工单"，完成工单提交。 | | 源端分片个数 | 当源端实例类型设置为"集群"且增量数据获取方式为"oplog"时，需要填写源端数据库分片个数。 源端数据库分片个数默认最小值为2，最大值为32，你需要根据源库实际的集群分片个数设置该值大小。 | 4. 在"源库及目标库"信息页面，迁移实例创建成功后，填选源库信息和目标库信息，建议您单击"源库和目标库"处的"测试连接"，分别测试并确定与源库和目标库连通后，勾选协议，单击"下一步"。 图5源库及目标库信息 ![](https://support.huaweicloud.com/bestpractice-dds/zh-cn_image_0000002350963653.png "点击放大") 表6源库信息 | **参数** | **描述** | |:---|:---| | 源库类型 | 选择"自建库"。 | | VPC | 源数据库实例所在的虚拟专用网络，可以对不同业务进行网络隔离。您需要创建或选择所需的虚拟私有云。如何创建虚拟私有云，请参见《虚拟私有云用户指南》中的"[创建虚拟私有云基本信息及默认子网](https://support.huaweicloud.com/usermanual-vpc/zh-cn_topic_0013935842.html)"章节。 | | 子网 | 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。子网在可用分区内才会有效，创建源数据库实例的子网需要开启DHCP功能，在创建过程中也不能关闭已选子网的DHCP功能。如何创建子网，请参见《虚拟私有云用户指南》中的"[创建虚拟私有云基本信息及默认子网](https://support.huaweicloud.com/usermanual-vpc/zh-cn_topic_0013935842.html)"章节。 | | IP地址或域名 | 配置源MongoDB数据库实例的访问地址或域名。 | | 端口 | 配置源MongoDB数据库实例的服务端口，可输入范围为1\~65535间的整数。 | | 数据库用户名 | 访问源MongoDB数据库的用户名。 | | 数据库密码 | 访问源MongoDB数据库的用户名所对应的密码。 | | SSL安全连接 | 您可以选择开启SSL安全连接，对迁移链路进行加密，开启之后，需要您上传加密证书。 | 表7目标库信息 | **参数** | **描述** | |:---|:---| | 数据库实例名称 | 默认为创建迁移任务时选择的已创建的本云DDS实例，不可进行修改。 | | 数据库用户名 | 访问目标数据库本云DDS的用户名。 | | 数据库密码 | 访问目标数据库本云DDS的用户名所对应的密码。 | 5. 在"迁移设置"页面，设置迁移对象，单击"下一步"。 图6设置迁移对象 ![](https://support.huaweicloud.com/bestpractice-dds/zh-cn_image_0000001198097583.png "点击放大") 表8迁移对象 | **参数** | **描述** | |:---|:---| | 迁移用户 | 常见的迁移用户一般分为两类：支持迁移的用户和不支持迁移的用户。您可以根据业务需求选择"迁移"或者"不迁移"，其中，不支持迁移的账号或者未选择迁移的账号将在目标数据库中缺失，需要先确保业务不受影响。 - 迁移 当您选择迁移用户时，请参见《数据复制服务用户指南》中"[迁移用户](https://support.huaweicloud.com/realtimemig-drs/drs_09_0017.html)"章节进行数据库用户及角色的处理。 - 不迁移 迁移过程中，将不进行数据库用户及角色的迁移。 | | 迁移对象 | 您可以根据业务需求，选择全部对象迁移、表级迁移或者库级迁移。 - 全部迁移：将源数据库中的所有对象全部迁移至目标数据库，对象迁移到目标数据库实例后，对象名将会保持与源数据库实例对象名一致且无法修改。 - 表级迁移：将选择的表级对象迁移至目标数据库。 - 库级迁移：将选择的库级对象迁移至目标数据库。 如果有切换源数据库的操作或源库迁移对象变化的情况，请务必在选择迁移对象前单击右上角的![](https://support.huaweicloud.com/bestpractice-dds/zh-cn_image_0000001151977946.png)，以确保待选择的对象为最新源数据库对象。 说明： - 若选择部分数据库进行迁移时，由于存储过程、视图等对象可能与其他数据库的表存在依赖关系，若所依赖的表未迁移，则会导致迁移失败。建议您在迁移之前进行确认，或选择全部数据库进行迁移。 - 选择对象的时候，对象名称的前后空格不显示，中间如有多个空格只显示一个空格。 - 选择对象的时候支持搜索，以便您快速选择需要的数据库对象。 | 6. 在"预检查"页面，进行迁移任务预校验，校验是否可进行任务迁移。 - 查看检查结果，如有不通过的检查项，需要修复不通过项后，单击"重新校验"按钮重新进行迁移任务预校验。 预检查不通过项处理建议请参见《数据复制服务用户指南》中的"[预检查不通过项修复方法](https://support.huaweicloud.com/trouble-drs/drs_precheck.html)"。 - 预检查完成后，且所有检查项结果均通过时，单击"下一步"。 图7预检查 ![](https://support.huaweicloud.com/bestpractice-dds/zh-cn_image_0000001152137438.png "点击放大") ![](https://support.huaweicloud.com/bestpractice-dds/public_sys-resources/note_3.0-zh-cn.png) 所有检查项结果均通过时，若存在待确认项，需要阅读并确认详情后才可以继续执行下一步操作。 7. 在"任务确认"页面，设置迁移任务的启动时间、任务异常通知设置、SMN主题、时延阈值、任务异常自动结束时间，并确认迁移任务信息无误后，单击"启动任务"，提交迁移任务。 图8任务启动设置 ![](https://support.huaweicloud.com/bestpractice-dds/zh-cn_image_0000001199158158.png "点击放大") 表9任务启动设置 | **参数** | **描述** | |:---|:---| | 启动时间 | 迁移任务的启动时间可以根据业务需求，设置为"立即启动"或"稍后启动"，优选"稍后启动"。 说明： 预计迁移任务启动后，会对源数据库和目标数据库的性能产生影响，建议您将任务启动时间设定在业务低峰期，同时预留2-3天校对数据。 | | 任务异常通知设置 | 该项为可选参数，开启之后，选择对应的SMN主题。当迁移任务状态异常时，系统将发送通知。 | | SMN主题 | "任务异常通知设置"项开启后可见，需提前在SMN上申请主题并添加订阅。 SMN主题申请和订阅可参考[《消息通知服务用户指南》](https://support.huaweicloud.com/usermanual-smn/zh-cn_topic_0043961401.html)。 | | 时延阈值 | 在增量迁移阶段，源数据库和目标数据库之间的实时同步有时会存在一个时间差，称为时延，单位为秒。 时延阈值设置是指时延超过一定的值后（时延阈值范围为0---3600s），DRS可以发送告警通知。告警通知将在时延稳定超过设定的阈值6min后发送，避免出现由于时延波动反复发送告警通知的情况。 说明： - 首次进入增量迁移阶段，会有较多数据等待同步，存在较大的时延，属于正常情况，不在此功能的监控范围之内。 - 设置时延阈值之前，需要设置任务异常通知。 - 当时延阈值设置为0时，不会发送通知给收件人。 | | 任务异常自动结束时间（天） | 设置任务异常自动结束天数，输入值必须在14-100之间，默认值14。 说明： 异常状态下的任务仍然会计费，而长时间异常的任务无法续传和恢复。设置任务异常自动结束天数后，异常且超时的任务将会自动结束，以免产生不必要的费用。 | 8. 迁移任务提交后，您可以返回"实时迁移管理"页面，查看迁移任务状态。 2. **任务管理** **。** 迁移任务启动后，会经历全量迁移和增量迁移两个阶段，对于不同阶段的迁移任务，您可以进行任务管理。 - 全量迁移 - 查看迁移进度：全量迁移中的任务，您可单击任务名称，在"迁移进度"页签下，查看全量迁移进度，您可以查看结构、数据、索引迁移的进度，也查看具体迁移对象的迁移进度。当全量迁移进度显示为100%，表示全量迁移已经完成。 - 查看迁移明细：迁移明细中，您可以查看具体迁移对象的迁移进度，当"对象数目"和"已迁移对象"相等时，表示该对象已经迁移完成，可通过"查看详情"查看每个对象的迁移进度。仅白名单用户该支持功能，您可以通过提交工单的方式进行申请使用。 - 增量迁移 - 查看时延监控：全量迁移完成后，开始进行增量迁移。对于增量迁移中的任务，您可单击任务名称，在"迁移进度"页签下，查看增量迁移同步时延，**当时延为0s时，说明源数据库和目标数据库的数据是实时同步的。** 您也可以使用"迁移对比"页签查看一致性。 图9查看时延监控 ![](https://support.huaweicloud.com/bestpractice-dds/zh-cn_image_0000001243756137.png "点击放大") - 查看迁移对比：为了尽可能减少业务的影响和业务中断时间，增量迁移中的任务，您可单击任务名称，在"迁移对比"页签下，建议按照如下流程进行迁移对比，以便确定合适的业务割接时机。 图10迁移对比流程 ![](https://support.huaweicloud.com/bestpractice-dds/zh-cn_image_0000001213070166.png "点击放大") 具体的迁移对比操作及注意事项请参考《数据复制服务用户指南》中"[对比迁移项](https://support.huaweicloud.com/realtimemig-drs/drs_02_0007.html)"章节。 3. **割接建议** **。** 建议您选择一个业务低峰期，开始正式系统割接流程。割接前，请您确认至少在业务低峰期有过一次完整的数据对比。可以结合数据对比的"稍后启动"功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。 1. 先中断业务（如果业务负载非常轻，也可以尝试不中断业务）。 2. 在源数据库端执行如下语句，并观察在1-5分钟内若无任何新会话执行SQL ，则可认为业务已经完全停止。 ``` db.currentOp() ``` ![](https://support.huaweicloud.com/bestpractice-dds/public_sys-resources/note_3.0-zh-cn.png) 上述语句查询到的进程列表中，包括DRS迁移实例的连接，您需要确认除DRS迁移实例的连接外无任何新会话执行SQL，即可认为业务已经完全停止。 3. 通过DRS迁移任务监控页面进行观察同步时延，保持实时同步时延为0，并稳定保持一段时间；同时，您可以使用数据级对比功能，进行割接前的最后一次数据级对比，耗时可参考之前的对比记录。 - 如果时间允许，则选择全部对比。 - 如果时间不允许，则推荐对比活跃表，关键业务表，第二步对比多次存在差异的表等。 4. 确定系统割接时机，业务系统指向本云数据库，业务对外恢复使用，迁移完成。 4. **迁移结束** **。** 1. 结束迁移任务：业务系统和数据库切换至本云后，为了防止源数据库的操作继续同步到目标数据库，造成数据覆盖问题，此时您可选择结束迁移任务，该操作仅删除了迁移实例，迁移任务仍显示在任务列表中，您可以进行查看或删除。结束迁移任务后，DRS将不再计费。 2. 删除迁移任务：对于已结束的迁移任务，您可选择删除任务。该操作将一并删除迁移任务，删除迁移任务后，该任务将不会出现在任务列表中。