文档首页> 数据复制服务 DRS> 实时迁移> 入云> 将MongoDB迁移到GaussDB(for Mongo)
更新时间:2022-05-20 GMT+08:00
分享

将MongoDB迁移到GaussDB(for Mongo)

支持的源和目标数据库

表1 支持的数据库

源数据库

目标数据库

  • 本地自建Mongo数据库
  • ECS自建Mongo数据库
  • 其他云上Mongo数据库
  • GaussDB(for Mongo)实例

前提条件

  • 已登录数据复制服务控制台。
  • 账户余额大于等于0元。
  • 满足实时迁移支持的数据库类型和版本,详情请参见支持的数据库
  • 当用户创建DRS任务使用的是子帐号时,请先确认已添加过委托。创建委托方法,可参考委托管理

使用建议

  • 数据库迁移与环境多样性和人为操作均有密切关系,为了确保迁移的平顺,建议您在进行正式的数据库迁移之前进行一次演练,可以帮助您提前发现问题并解决问题。
  • 全量阶段,确保源和目标数据库无业务写入,保证迁移前后数据一致。
  • 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性迁移成功率,避免迁移对业务造成性能影响。
    • 在网络无瓶颈的情况下,全量迁移会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。
    • 迁移无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。
    • 正在迁移的数据被其他事务长时间锁死,可能导致读数据超时。
    • DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。
    • 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。
    • 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响
  • 数据对比

    建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。

使用须知

在创建迁移任务前,请务必阅读以下使用须知。

表2 使用须知

类型名称

使用和操作限制

数据库权限设置

源数据库最小权限要求:

  • 全量迁移权限要求:
    • 副本集:连接源数据库的用户需要有admin库的readAnyDatabase权限。
    • 单节点:连接源数据库的用户需要有admin库的readAnyDatabase权限。
    • 集群:连接源数据库的用户需要有admin库的readAnyDatabase权限,有config库的read权限。
    • 如果需要迁移源数据库用户和角色信息,连接源数据库和目标库数据库的用户需要有admin数据库的系统表system.users、system.roles的read权限。
  • 全量+增量迁移权限要求:
    • 副本集:连接源数据库的用户需要有admin库的readAnyDatabase权限,有local库的read权限。
    • 单节点:连接源数据库的用户需要有admin库的readAnyDatabase权限,有local库的read权限。
    • 集群:连接源数据库mongos节点的用户需要有admin库的readAnyDatabase权限,有config库的read权限,连接源数据库分片节点的用户需要有admin库的readAnyDatabase权限,有local库的read权限。
    • 如果需要迁移源数据库用户和角色信息,连接源数据库和目标库数据库的用户需要有admin数据库的系统表system.users、system.roles的read权限。

目标数据库最小权限要求:连接目标数据库的用户需要有admin库的dbAdminAnyDatabase权限,有目标数据库的readWrite权限。对于目标数据库是集群的实例,迁移账号还要有admin库的clusterManager权限。

迁移对象约束

  • 副本集:目前只支持集合(包括验证器,是否是固定集合),索引和视图的迁移。
  • 集群:目前只支持集合(包括验证器,是否是固定集合),分片键,索引和视图的迁移。
  • 单节点:目前只支持集合(包括验证器,是否是固定集合),索引和视图的迁移。
  • 不支持视图的创建语句中有正则表达式。
  • 不支持_id字段没有索引的集合。
  • 不支持BinData()的第一个参数为2。

源数据库要求

  • 不支持源数据库的库名、集合名或视图名中包含如下字符:'<>.。
  • 如果迁移任务是源数据集群的增量,则源数据必须关闭Balancer。
  • 源数据库不能是GaussDB(for Mongo)实例。

目标数据库要求

  • 目标数据库实例的运行状态必须正常。
  • 目标数据库实例必须有足够的磁盘空间。
  • 多个源数据库迁移到同一个目标数据库时,所选的待迁移数据库的库名不能重复。
  • 集群到集群的全量迁移,如果源数据库的集群没有开启分片,则需要保证目标数据库主shard节点的磁盘空间大于源数据库数据大小。
  • 目前不支持从高版本数据库到低版本数据库的迁移。

操作须知

  • 相互关联的数据对象要确保同时迁移,避免迁移因关联对象缺失,导致迁移失败。常见的关联关系:视图引用集合、视图引用视图等。
  • 副本集:MongoDB数据库的副本集实例状态必须正常,要存在主节点。
  • 源数据库为非集群实例时,增量迁移阶段支持如下操作:
    • 支持数据库(database)新建、删除。
    • 支持文档(document)新增、删除、更新。
    • 支持集合(collection)新建、删除。
    • 支持索引(index)新建、删除。
    • 支持视图(view)新建,删除。
    • 支持convertToCapped、collMod、renameCollection命令。
  • 目标库是集群实例时,包括副本到集群、集群到集群的全量+增量迁移,全量阶段和增量阶段,不能对迁移对象做创建和删除操作,否则会导致任务失败。
  • 对于在源数据库已经存在TTL索引的集合,或者在增量迁移期间在源库数据创建了TTL索引的集合,由于源数据库和目标库数据库时区,时钟的不一致,不能保证迁移完成之后数据的一致性。
  • 由于目标库不支持压缩参数的设置,DRS不迁移压缩参数,迁移任务不报错。
  • 如果源数据库的MongoDB服务不是单独部署的,而是和其他的服务部署在同一台机器,则必须要给源数据库的wiredTiger引擎加上cacheSizeGB的参数配置,建议值设为最小空闲内存的一半。
  • 选择集合迁移时,增量迁移过程中不建议对集合进行重命名操作。
  • 如果源数据库是副本集,则建议填写所有的主节点和备节点信息,以防主备切换影响迁移任务。如果填写的是主备多个节点的信息,注意所有的节点信息必须属于同一个副本集实例。
  • 如果源数据库是集群,则建议填写多个mongos信息,以防单个mongos节点故障影响迁移任务。如果填写的是多个mongos信息,注意所有的mongos信息必须属于同一个集群。如果是集群的增量迁移任务,建议shard信息填写所有的主节点和备节点,以防主备切换影响迁移任务,并且注意所填写的主备信息必须属于同一个shard。确保填写的所有shard节点信息必须隶属于同一个集群。
  • GaussDB(for Mongo)集群最大可支持创建的集合数可以根据公式计算:最大chunk数*4*shard实例数。

    GaussDB(for Mongo)实例不同规格对应的最大chunk数如下:

    1U4G->50;

    2U8G->100;

    4U16G->200;

    8U32G->400;

    16U64G->800;

    32U128G->1600。

    请根据源库集合数情况,判断目标库是否满足要求。

  • 非全部迁移场景下,为防止drop database操作删除目标库已有的集合,drop database不会同步到目标库。
    • 源库是MongoDB 3.6以下版本(不含3.6)时,执行drop database会导致源库删除集合但目标库没有删除。
    • 源库是MongoDB 3.6及以上版本(含3.6)时,drop database 操作在oplog中会体现为drop database 和drop collection操作,所以目标库也会删除相应集合,不会出现问题。
  • 为了保持数据一致性,在整个迁移过程中,不允许对正在迁移中的目标数据库进行修改操作(包括但不限于DDL、DML操作)。
  • 迁移过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。
  • 在任务启动、任务全量迁移阶段,不建议对源数据库做删除类型的DDL操作,比如删除数据库、集合、索引、文档、视图等,这样可能会引起任务迁移失败。
  • 在整个迁移过程中,不支持源数据库主备切换导致数据回滚的情况。
  • 选择集合迁移时,增量迁移过程中不建议对集合进行重命名操作。
  • 不支持全量迁移和增量迁移阶段insert、update源库大于16MB的文档。
  • 为了提高迁移的速度,在开始迁移之前,建议在源数据库删掉不需要的索引,只保留必须的索引。在迁移过程中不建议对源库创建索引,如果必须要创建索引,请使用后台的方式创建索引。
分享:

    相关文档

    相关产品

close