文档首页/ 文档数据库服务 DDS/ 用户指南/ 数据库使用/ 通过命令管理时间漫游快照
更新时间:2024-12-26 GMT+08:00
分享

通过命令管理时间漫游快照

自2024年9月30日起,4.2、4.4版本的文档数据库实例开始支持时间漫游特性。您可以在指定时间点下发snasphot命令创建一个时间漫游快照,该命令会将当前时刻所有用户库的数据进行快照。创建快照完成后,对于文档数据库的find/getmore操作,您可以指定一个readAt参数,来读取相应时间漫游快照的数据。这个特性的用途有:

  • 对历史数据做报表,省去了用户自己按时间分库分表的麻烦;
  • 在不影响业务读写的情况下,对数据做Point in Time的备份。

该特性使用户可以在一个数据库实例,甚至同一个表空间上,管理多个历史时态的数据。

使用须知

  • 当前只有最新版本的4.2、4.4文档数据库实例支持该能力,如果您的实例版本较低,请参考文档《补丁升级》
  • 时间漫游快照为持久化快照,实例重启后依然保留;
  • 对于同一实例您最多可以创建8个时间漫游快照,快照名称支持字符0~9、a~z、A~Z 和 _ ,例如:"Snapshot_2024_09_30_15_18";
  • 因为时间漫游快照是针对当前时刻所有用户库的数据快照,因此下发命令的数据库账户至少应该具备{role: "dbAdminAnyDatabase"}权限,创建数据库账户请参考文档《创建用户》
  • 时间漫游快照命令只能在主节点(集群中则为mongos节点)下发,同时会以oplog的形式同步到备节点,所以如果想要有效避免主备倒换可能发生的回滚,那么应该将writeConcern设置为majority来创建、删除时间漫游快照;
  • 请确保在时间漫游快照生效期间,不要对相关集合进行元数据变更(包括删除、重命名集合,创建、删除索引等),对于元数据的操作会使得对应集合的快照失效,但其他集合的快照不受影响;
  • 读取时间漫游快照过程中请勿删除对应快照;
  • 创建时间漫游快照本身并不会占用额外的磁盘空间,但这个动作会使得快照相关的数据不参与存储引擎的compact,因此在创建时间漫游快照后如果有新的写入动作,请及时关注实例的磁盘占用情况。存储引擎相关说明请参考文档《DDS 4.2及其以上版本切RocksDB存储引擎相关问题Q&A》
  • 因为时间漫游快照的相关数据不参与存储引擎compact,因此如果创建较多时间漫游快照,那么会对实例的写入性能造成5~10%左右的影响;
  • 在集群实例上使用时间漫游快照时,需关闭均衡器Balancer,管理均衡器请参考文档《如何管理均衡器Balancer》

前提条件

成功连接文档数据库实例,详情请参见《连接实例》通过内网和公网连接实例。

创建时间漫游快照

  1. 在dds副本集的主节点,或者dds集群的mongos节点命令行中,切换至用户库。
    use test  //可以是任意用户库,不影响最终快照结果
  2. 执行如下命令,创建时间漫游快照。
    db.runCommand({snapshot: 1, op: "create", name: "s1"})    //创建名为s1的时间漫游快照 
    db.runCommand({snapshot: 1, op: "create"})    //如果未指定name参数,那么默认使用stable作为快照名称

查看时间漫游快照

  1. 在dds副本集的主节点,或者dds集群的mongos节点命令行中,切换至用户库。
    use test  //可以是任意用户库,不影响最终命令结果
  2. 执行如下命令,查看当前时间漫游快照。
db.runCommand({snapshot: 1, op: "list"}) // {snapshot: 1, op: "list"} 
// {snapshot: 1, op: "list"} 执行结果
{
	"snapshotList" : [
		"s1",
		"stable"
	],
	"ok" : 1,
	"operationTime" : Timestamp(1727683917, 1),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1727683917, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

删除时间漫游快照

  1. 在dds副本集的主节点,或者dds集群的mongos节点命令行中,切换至用户库。
    use test  //可以是任意用户库,不影响最终命令结果
  2. 执行如下命令,删除已有时间漫游快照。
    db.runCommand({snapshot:1, op:"delete", name:"s1"})    //删除名为s1的时间漫游快照 
    db.runCommand({snapshot:1, op:"delete"})    //如果未指定name参数,默认删除名为stable的时间漫游快照 db.runCommand({snapshot:1, op:"delete", name:"*"})    //指定name参数为*,删除所有时间漫游快照

find/getMore方式读取时间漫游快照

  1. 进入dds副本集主节点,或者dds集群mongos节点的命令行界面;
  2. 通过find命令读取时间漫游快照(注:因为需要指定readAt参数,find命令需要以runCommand形式下发,详细请参见find
    PRIMARY> use test 
    PRIMARY> db.foo.insert({a:1, c:1})
    PRIMARY> db.foo.insert({a:2, c:2}) 
    //创建名为s1的时间漫游快照
    PRIMARY> db.runCommand({snapshot:1, op:"create", name:"s1"}) 
    //创建快照后修改文档{a:1, c:1}->{a:1, c:3}
    PRIMARY> db.foo.update({a:1}, {$set:{c:3}}) 
    //在名称为s1的时间漫游快照上,执行find命令查询满足条件{a:1}的文档
    PRIMARY> db.runCommand({find:"foo", filter:{a:1}, readAt:"s1"})
    {
            "cursor" : {
                    "firstBatch" : [
                            {
                                    "_id" : ObjectId("5dd75662b9c50d4bdca52721"),
                                    "a" : 1,
                                    "c" : 1
                            },
                    ],
                    "id" : NumberLong(0),
                    "ns" : "test.foo"
            },
            "ok" : 1
    }

    在find命令中,指定readAt : s1,表示从s1这个快照中读取数据,指定filter: {a:1},表示过滤所有满足a=1的文档。如上所示,在s1快照创建之后,我们更新 {a:1, c:1}->{a:1, c:3}的这个操作是不会影响快照数据的。

  3. 通过getMore命令读取时间漫游快照(getMore命令格式请参见getMore)。
    PRIMARY> use test 
    PRIMARY> db.foo.insert({a:1, c:1})
    PRIMARY> db.foo.insert({a:2, c:2}) 
    //创建名为s1的时间漫游快照
    PRIMARY> db.runCommand({snapshot:1, op:"create", name:"s1"}) 
    //创建快照后修改文档{a:1, c:1}->{a:1, c:3}
    PRIMARY> db.foo.update({a:1}, {$set:{c:3}}) 
    //在名称为s1的时间漫游快照上,执行find命令查询所有a<=2的文档,并将batchSize设为0
    PRIMARY> db.runCommand({getMore: NumberLong("47677869455"), collection:"foo"})
    {
            "cursor" : {
                    "nextBatch" : [
                            {
                                    "_id" : ObjectId("5dd75662b9c50d4bdca52721"),
                                    "a" : 1,
                                    "c" : 1
                            },
                            {
                                    "_id" : ObjectId("5dd75687b9c50d4bdca52723"),
                                    "a" : 2,
                                    "c" : 2
                            }
                    ],
                    "id" : NumberLong(0),
                    "ns" : "test.foo"
            },
            "ok" : 1
    }

    在getmore命令中,通过指定find命令的readAt : s1,表示从s1这个快照中读取数据,指定filter: {a: {$lte: 2}},表示过滤所有满足a<=2的文档。如上所示,在s1快照创建之后,我们更新 {a:1, c:1}->{a:1, c:3}的这个操作是不会影响快照数据的。

相关文档