增量同步复制对象
功能说明
将源桶指定路径下的所有对象同步到目标桶指定路径,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源对象和目标对象,只复制存在变化的源对象;2)同步,命令执行完成后,保证源桶指定路径是目标桶指定路径的子集,即源桶指定路径下的所有对象均能在目标桶中找到对应对象。
![](https://support.huaweicloud.com/intl/zh-cn/eu-west-0-utiltg-obs/public_sys-resources/notice_3.0-zh-cn.png)
- 同步复制对象时,请确保OBS桶中的源对象不发生变化,否则可能产生同步失败或者数据不一致的问题。
- 如果被复制对象的存储类型为cold,必须首先恢复被复制对象,否则无法复制成功。
- 复制时需要有被复制对象的读权限和目标桶的写权限。
- 如果没有开启客户端跨区域复制模式,同步复制的源桶和目标桶必须在同一个区域(Region)。
- 同步复制每个源对象时会对比目标桶中对应路径的目标对象,仅在目标对象不存在,或者目标对象大小与源对象大小不一致,或者目标对象的最后修改时间早于源对象的最后修改时间时进行复制。
- 如果源桶是并行文件系统(POSIX),则目标桶不能是对象存储桶。
命令结构
- Windows操作系统
obsutil sync obs://srcbucket[/key] obs://dstbucket[/dest] [-dryRun] [-crr] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx]
- macOS/Linux操作系统
./obsutil sync obs://srcbucket[/key] obs://dstbucket[/dest] [-dryRun] [-crr] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx]
![](https://support.huaweicloud.com/intl/zh-cn/eu-west-0-utiltg-obs/public_sys-resources/note_3.0-zh-cn.png)
同步复制的源路径和目标路径不能完全相同,且源路径和目标路径不能相互嵌套。
运行示例
- 以Windows操作系统为例,运行obsutil sync obs://bucket-test/temp/ obs://bucket-test2/temp/,同步复制对象。
obsutil sync obs://bucket-test/temp/ obs://bucket-test2/temp Parallel: 3 Jobs: 3 Threshold: 524288000 PartSize: 5242880 Exclude: Include: VerifyLength: false VerifyMd5: false CheckpointDir: xxxx OutputDir: xxxx [=============================================================] 100.00% 10/s 0s Succeed count is: 5 Failed count is: 0 Metrics [max cost:298 ms, min cost:192 ms, average cost:238.00 ms, average tps:9.71] Task id is: 0476929d-9d23-4dc5-b2f8-0a0493f027c5
- 更多运行示例,请参见同步复制示例。
参数说明
参数 |
约束 |
描述 |
---|---|---|
srcbucket |
必选 |
源桶名。 |
dstbucket |
必选 |
目标桶名。 |
dest |
可选 |
目标对象名前缀。
说明:
如果该值不为空且不以“/”结尾,则工具会自动为该值末尾加上“/”作为目标对象名前缀。 |
key |
可选 |
源对象名前缀。 规则如下:
说明:
|
dryRun |
附加参数,可选 |
测试模式运行,不执行实际的复制操作。 |
crr |
附加参数,可选 |
复制时使用客户端跨区域复制模式,从通过数据流的方式从源桶直接复制数据到目标桶,且两个桶可以是任意两个OBS服务的桶。
说明:
须知:
开启跨区域复制后,因为会占用执行命令主机上传和下载的双向带宽、CPU和内存等资源,可能会影响执行命令主机的性能。 |
vlength |
附加参数,可选 |
复制完成后,验证目标桶对象大小是否与源桶中对象的大小一致。
说明:
必须与crr参数配合使用。 |
vmd5 |
附加参数,可选 |
复制完成后,验证目标桶的MD5值是否与源桶中对象的MD5值一致。 |
p |
附加参数,可选 |
每个分段复制任务的最大并发数,默认为配置文件中的defaultParallels。 |
threshold |
附加参数,可选 |
开启分段复制任务的阈值,单位:字节,默认为配置文件中的defaultBigfileThreshold。
说明:
|
acl |
附加参数,可选 |
复制对象时可指定的目标对象的预定义访问策略。支持的值:
说明:
以上四个值分别对应:私有读写、公共读、公共读写、桶拥有者完全控制,四种预定义访问策略。 |
sc |
附加参数,可选 |
复制对象时可指定的目标对象的存储类型。支持的值:
|
meta |
附加参数,可选 |
复制对象时可指定的目标对象的自定义元数据。格式为:key1:value1#key2:value2#key3:value3。
说明:
以上值表示复制对象完成后,桶内目标对象包含三组自定义元数据,分别为:key1:value1、key2:value2、key3:value3。 |
fs |
附加参数,可选 |
是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。
注意:
|
ps |
附加参数,可选 |
每个分段复制任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。
说明:
|
cpd |
附加参数,可选 |
生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。
说明:
每个分段复制任务会产生唯一对应的断点记录文件并保存至该文件夹的copy子文件夹下,分段任务执行成功后,对应的断点记录文件会被自动删除;分段任务执行失败或被中断后,下次执行该分段任务时会尝试通过对应的断点记录文件恢复任务。 |
j |
附加参数,批量复制时可选 |
同步复制时的最大并发数,默认为配置文件中的defaultJobs。
说明:
工具会保证该值至少为1。 |
exclude |
附加参数,批量复制时可选 |
不包含源对象的匹配模式,如:*.txt。
说明:
须知:
|
include |
附加参数,批量复制时可选 |
包含源对象的匹配模式,如:*.jpg。
说明:
须知:
|
timeRange |
附加参数,可选 |
同步复制对象时的时间段匹配模式,仅复制最后修改时间在该时间段内的对象。 该匹配模式优先级低于对象名匹配模式:exclude和include,优先执行对象名匹配模式后才会执行该匹配模式。
说明:
须知:
|
mf |
附加参数,可选 |
设置名称匹配模式(include、exclude)和时间匹配模式(timeRange)对对象名以“/”结尾的对象也生效。 |
o |
附加参数,可选 |
生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果、失败结果和警告结果三个文件),默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。
说明:
|
config |
附加参数,可选 |
运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 |
响应结果
请参考上传对象的响应结果。