通过命令管理时间漫游快照
自2024年9月30日起,4.2、4.4版本的文档数据库实例开始支持时间漫游特性。您可以在指定时间点下发snasphot命令创建一个时间漫游快照,该命令会将当前时刻所有用户库的数据进行快照。创建快照完成后,对于文档数据库的find/getmore操作,您可以指定一个readAt参数,来读取相应时间漫游快照的数据。这个特性的用途有:
- 对历史数据做报表,省去了用户自己按时间分库分表的麻烦;
- 在不影响业务读写的情况下,对数据做Point in Time的备份。
该特性使用户可以在一个数据库实例,甚至同一个表空间上,管理多个历史时态的数据。
使用须知
- 当前只有最新版本的4.2、4.4文档数据库实例支持该能力,如果您的实例版本较低,请参考文档《补丁升级》;
- 时间漫游快照为持久化快照,实例重启后依然保留;
- 对于同一实例您最多可以创建8个时间漫游快照,快照名称支持字符0~9、a~z、A~Z 和 _ ,例如:"Snapshot_2024_09_30_15_18";
- 因为时间漫游快照是针对当前时刻所有用户库的数据快照,因此下发命令的数据库账户至少应该具备{role: "dbAdminAnyDatabase"}权限,创建数据库账户请参考文档《创建用户》;
- 时间漫游快照命令只能在主节点(集群中则为mongos节点)下发,同时会以oplog的形式同步到备节点,所以如果想要有效避免主备倒换可能发生的回滚,那么应该将writeConcern设置为majority来创建、删除时间漫游快照;
- 请确保在时间漫游快照生效期间,不要对相关集合进行元数据变更(包括删除、重命名集合,创建、删除索引等),对于元数据的操作会使得对应集合的快照失效,但其他集合的快照不受影响;
- 读取时间漫游快照过程中请勿删除对应快照;
- 创建时间漫游快照本身并不会占用额外的磁盘空间,但这个动作会使得快照相关的数据不参与存储引擎的compact,因此在创建时间漫游快照后如果有新的写入动作,请及时关注实例的磁盘占用情况。存储引擎相关说明请参考文档《DDS 4.2及其以上版本切RocksDB存储引擎相关问题Q&A》;
- 因为时间漫游快照的相关数据不参与存储引擎compact,因此如果创建较多时间漫游快照,那么会对实例的写入性能造成5~10%左右的影响;
- 在集群实例上使用时间漫游快照时,需关闭均衡器Balancer,管理均衡器请参考文档《如何管理均衡器Balancer》。
前提条件
成功连接文档数据库实例,详情请参见《连接实例》通过内网和公网连接实例。
创建时间漫游快照
- 在dds副本集的主节点,或者dds集群的mongos节点命令行中,切换至用户库。
use test //可以是任意用户库,不影响最终快照结果
- 执行如下命令,创建时间漫游快照。
db.runCommand({snapshot: 1, op: "create", name: "s1"}) //创建名为s1的时间漫游快照 db.runCommand({snapshot: 1, op: "create"}) //如果未指定name参数,那么默认使用stable作为快照名称
查看时间漫游快照
- 在dds副本集的主节点,或者dds集群的mongos节点命令行中,切换至用户库。
use test //可以是任意用户库,不影响最终命令结果
- 执行如下命令,查看当前时间漫游快照。
db.runCommand({snapshot: 1, op: "list"}) // {snapshot: 1, op: "list"} // {snapshot: 1, op: "list"} 执行结果 { "snapshotList" : [ "s1", "stable" ], "ok" : 1, "operationTime" : Timestamp(1727683917, 1), "$clusterTime" : { "clusterTime" : Timestamp(1727683917, 1), "signature" : { "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="), "keyId" : NumberLong(0) } } }
删除时间漫游快照
- 在dds副本集的主节点,或者dds集群的mongos节点命令行中,切换至用户库。
use test //可以是任意用户库,不影响最终命令结果
- 执行如下命令,删除已有时间漫游快照。
db.runCommand({snapshot:1, op:"delete", name:"s1"}) //删除名为s1的时间漫游快照 db.runCommand({snapshot:1, op:"delete"}) //如果未指定name参数,默认删除名为stable的时间漫游快照 db.runCommand({snapshot:1, op:"delete", name:"*"}) //指定name参数为*,删除所有时间漫游快照
find/getMore方式读取时间漫游快照
- 进入dds副本集主节点,或者dds集群mongos节点的命令行界面;
- 通过find命令读取时间漫游快照(注:因为需要指定readAt参数,find命令需要以runCommand形式下发,详细请参见find。
PRIMARY> use test PRIMARY> db.foo.insert({a:1, c:1}) PRIMARY> db.foo.insert({a:2, c:2}) //创建名为s1的时间漫游快照 PRIMARY> db.runCommand({snapshot:1, op:"create", name:"s1"}) //创建快照后修改文档{a:1, c:1}->{a:1, c:3} PRIMARY> db.foo.update({a:1}, {$set:{c:3}}) //在名称为s1的时间漫游快照上,执行find命令查询满足条件{a:1}的文档 PRIMARY> db.runCommand({find:"foo", filter:{a:1}, readAt:"s1"}) { "cursor" : { "firstBatch" : [ { "_id" : ObjectId("5dd75662b9c50d4bdca52721"), "a" : 1, "c" : 1 }, ], "id" : NumberLong(0), "ns" : "test.foo" }, "ok" : 1 }
在find命令中,指定readAt : s1,表示从s1这个快照中读取数据,指定filter: {a:1},表示过滤所有满足a=1的文档。如上所示,在s1快照创建之后,我们更新 {a:1, c:1}->{a:1, c:3}的这个操作是不会影响快照数据的。
- 通过getMore命令读取时间漫游快照(getMore命令格式请参见getMore)。
PRIMARY> use test PRIMARY> db.foo.insert({a:1, c:1}) PRIMARY> db.foo.insert({a:2, c:2}) //创建名为s1的时间漫游快照 PRIMARY> db.runCommand({snapshot:1, op:"create", name:"s1"}) //创建快照后修改文档{a:1, c:1}->{a:1, c:3} PRIMARY> db.foo.update({a:1}, {$set:{c:3}}) //在名称为s1的时间漫游快照上,执行find命令查询所有a<=2的文档,并将batchSize设为0 PRIMARY> db.runCommand({getMore: NumberLong("47677869455"), collection:"foo"}) { "cursor" : { "nextBatch" : [ { "_id" : ObjectId("5dd75662b9c50d4bdca52721"), "a" : 1, "c" : 1 }, { "_id" : ObjectId("5dd75687b9c50d4bdca52723"), "a" : 2, "c" : 2 } ], "id" : NumberLong(0), "ns" : "test.foo" }, "ok" : 1 }
在getmore命令中,通过指定find命令的readAt : s1,表示从s1这个快照中读取数据,指定filter: {a: {$lte: 2}},表示过滤所有满足a<=2的文档。如上所示,在s1快照创建之后,我们更新 {a:1, c:1}->{a:1, c:3}的这个操作是不会影响快照数据的。