MongoDB->DDS

使用技巧（需要人为配合）

如果您使用的是全量迁移模式（离线迁移），确保源和目标数据库无业务写入，保证迁移前后数据一致。

如果您使用的是全量+增量迁移模式（在线迁移），支持在源数据库有业务数据写入的情况下进行迁移，推荐提前2-3天启动任务，并配合如下使用技巧和对应场景的操作要求，以确保顺利迁移。
- 全量迁移
  基于以下原因，建议您结合定时启动功能，选择业务低峰期开始运行迁移任务，相对静态的数据，迁移时复杂度将会降低。
  - 全量迁移会对源数据库有一定的访问压力。
  - 迁移无主键表时，为了确保数据一致性，会存在3s以内的单表级锁定。
  - 正在迁移的数据被其他事务长时间锁死，可能导致读数据超时。
  - DRS并发读取数据库，会占用大约6-10个session连接数，需要考虑该连接数对业务的影响。
  - 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。
- 数据对比
   建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

操作要求

针对一些无法预知或人为因素及环境突变导致迁移失败的情况，数据复制服务提供以下常见的操作限制，供您在迁移过程中参考。

表1 操作要求
类型名称	操作限制（需要人为配合）
注意事项	表2中的环境要求均不允许在迁移过程中修改，直至迁移结束。相互关联的数据对象要确保同时迁移，避免迁移因关联对象缺失，导致迁移失败。常见的关联关系：视图引用集合、视图引用视图等。副本集：MongoDB数据库的副本集实例状态必须正常，要存在主节点。单节点：目前不支持源数据库为非本云单节点实例的迁移。源数据库为非集群实例时，增量迁移阶段支持如下操作：支持数据库（database）新建、删除。支持文档（document）新增、删除、更新。支持集合（collection）新建、删除。支持索引（index）新建、删除。支持视图（view）新建，删除。支持convertToCapped、collMod、renameCollection命令。源库是集群实例时，集群到集群的全量+增量迁移，全量阶段和增量阶段，不允许对迁移对象做删除操作，否则会导致任务失败。源库实例类型选择集群（MongoDB 4.0+）模式时，表示源数据库为集群4.0 以上版本，DRS内部同步使用MongoDB特性Change Streams。使用该模式应注意以下几个方面： Change Streams订阅数据过程会消耗源数据库一定量的CPU，内存资源，请提前做好源数据库资源评估。受MongoDB Change Streams自身性能影响，如果源库的负载比较大，Change Streams会出现处理速度无法跟上Oplog产生速度，进而导致DRS同步出现时延。 Change Streams目前仅支持drop database，drop collection，rename的DDL，其他DDL均不支持。对于在源数据库已经存在TTL索引的集合，或者在增量迁移期间在源库数据创建了TTL索引的集合，由于源数据库和目标库数据库时区，时钟的不一致，不能保证迁移完成之后数据的一致性。如果源数据库的MongoDB服务不是单独部署的，而是和其他的服务部署在同一台机器，则必须要给源数据库的wiredTiger引擎加上cacheSizeGB的参数配置，建议值设为最小空闲内存的一半。专属计算集群暂不支持DDS实例，无法创建迁移任务。选择集合迁移时，增量迁移过程中不建议对集合进行重命名操作。如果源数据库是副本集，则建议填写所有的主节点和备节点信息，以防主备切换影响迁移任务。如果填写的是主备多个节点的信息，注意所有的节点信息必须属于同一个副本集实例。如果源数据库是集群，则建议填写多个mongos信息，以防单个mongos节点故障影响迁移任务。如果填写的是多个mongos信息，注意所有的mongos信息必须属于同一个集群。如果是集群的增量迁移任务，建议shard信息填写所有的主节点和备节点，以防主备切换影响迁移任务，并且注意所填写的主备信息必须属于同一个shard。确保填写的所有shard节点信息必须隶属于同一个集群。非全部迁移场景下，为防止drop database操作删除目标库已有的集合，drop database不会同步到目标库。源库是MongoDB 3.6以下版本（不含3.6）时，执行drop database会导致源库删除集合但目标库没有删除。源库是MongoDB 3.6及以上版本（含3.6）时，drop database 操作在oplog中会体现为drop database 和drop collection操作，所以目标库也会删除相应集合，不会出现问题。
操作须知	为了保持数据一致性，在整个迁移过程中，不允许对正在迁移中的目标数据库进行修改操作(包括但不限于DDL、DML操作)，也不支持对源数据库进行DDL操作。迁移过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。在任务启动、任务全量迁移阶段，不建议对源数据库做删除类型的DDL操作，比如删除数据库、集合、索引、文档、视图等，这样可能会引起任务迁移失败。在整个迁移过程中，不支持源数据库主备切换导致数据回滚的情况。选择集合迁移时，增量迁移过程中不建议对集合进行重命名操作。不支持全量迁移和增量迁移阶段insert、update源库大于16MB的文档。为了提高迁移的速度，在开始迁移之前，建议在源数据库删掉不需要的索引，只保留必须的索引。在迁移过程中不建议对源库创建索引，如果必须要创建索引，请使用后台的方式创建索引。为了防止回环，不支持同时启动入云和出云任务。

环境要求

实时迁移对环境有一些特定的要求，请确保环境配置满足以下条件。该类型的要求系统会自动检查，并给出处理建议。

表2 环境要求
类型名称	使用限制（DRS自动检查）
数据库权限设置	源数据库最小权限要求：全量迁移权限要求：副本集：连接源数据库的用户需要对admin数据库有readAnyDatabase权限。集群：连接源数据库的用户需要对admin数据库有readAnyDatabase权限，对config数据库有read权限。单节点：连接源数据库的用户需要对admin数据库有readAnyDatabase权限。如果需要迁移源数据库用户和角色信息，连接源数据库的用户需要对admin数据库的系统表system.users，system.roles有读权限。全量+增量迁移权限要求：副本集：连接源数据库的用户需要对admin数据库有readAnyDatabase权限，对local数据库有read权限。单节点：连接源数据库的用户需要对admin数据库有readAnyDatabase权限，对local数据库有read权限。集群：连接源数据库mongos节点的用户需要对admin数据库有readAnyDatabase权限，对config数据库有read权限，连接源数据库分片节点的用户需要对admin数据库有readAnyDatabase权限，对local数据库有read权限。如果需要迁移源数据库用户和角色信息，连接源数据库的用户需要对admin数据库的系统表system.users，system.roles有读权限。目标数据库最小权限要求：连接目标数据库的用户需要对admin数据库有readAnyDatabase权限，对目标数据库有readWrite权限。
迁移对象约束	副本集：目前只支持集合(包括验证器，是否是固定集合)，索引和视图的迁移。集群：目前只支持集合（包括验证器，是否是固定集合），分片键，索引和视图的迁移。单节点：目前只支持集合（包括验证器，是否是固定集合），索引和视图的迁移。只支持迁移用户数据和源数据库的账号信息，不支持迁移系统库（如local、admin、config等）和系统集合，如果业务数据在系统库下，则需要先将业务数据移动到用户数据库下，可以使用renameCollection命令进行移出。不支持_id字段没有索引的集合。不支持BinData()的第一个参数为2。不支持范围分片的情况下maxKey当主键。
源数据库要求	不支持源数据库的库名、集合名或视图名中包含如下字符：'<>.。如果迁移任务是源数据集群的增量，则源数据必须关闭Balancer。源数据库不能是GaussDB(for Mongo)实例。
目标数据库要求	目标数据库实例的运行状态必须正常。目标数据库实例必须有足够的磁盘空间。多个源数据库迁移到同一个目标数据库时，所选的待迁移数据库的库名不能重复。集群到集群的全量迁移，如果源数据库的集群没有开启分片，则需要保证目标数据库主shard节点的磁盘空间大于源数据库数据大小。目前不支持从高版本数据库到低版本数据库的迁移。