增量同步上传对象
功能说明
将本地源路径下的所有内容同步到OBS指定目标桶,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源文件和目标对象,只上传存在变化的源文件;2)同步,命令执行完成后,保证本地源路径是OBS指定目标桶的子集,即本地源路径下的所有文件均能在OBS指定目标桶中找到对应对象。
![](https://support.huaweicloud.com/intl/zh-cn/ae-ad-1-utiltg-obs/public_sys-resources/notice_3.0-zh-cn.png)
- 同步上传时,请确保本地文件或文件夹在同步过程不发生变化,否则可能产生同步失败或者数据不一致的问题。
- 同步上传每个文件时会对比桶中对应路径的对象,仅在对象不存在,或者对象大小与文件大小不一致,或者对象的最后修改时间早于文件的最后修改时间时进行上传。
命令结构
- Windows操作系统
- 同步上传文件
obsutil sync file_url obs://bucket[/key] [-arcDir=xxx] [-dryRun] [-link] [-vlength] [-vmd5] [-p=1] [-threshold=5248800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-o=xxx] [-cpd=xxx] [-fr] [-config=xxx]
- 同步上传文件夹
obsutil sync folder_url obs://bucket[/key] [-arcDir=xxx] [-dryRun] [-link] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-at] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx]
- 同步上传文件
- macOS/Linux操作系统
- 同步上传文件
./obsutil sync file_url obs://bucket[/key] [-arcDir=xxx] [-dryRun] [-link] [-vlength] [-vmd5] [-p=1] [-threshold=5248800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-o=xxx] [-cpd=xxx] [-fr] [-config=xxx]
- 同步上传文件夹
./obsutil sync folder_url obs://bucket[/key] [-arcDir=xxx] [-dryRun] [-link] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-at] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx]
- 同步上传文件
运行示例
- 以Windows操作系统为例,运行obsutil sync d:\temp\test.txt obs://bucket-test/key,同步上传文件。
obsutil sync d:\temp\test.txt obs://bucket-test/key Parallel: 3 Jobs: 3 Threshold: 524288000 PartSize: 5242880 Exclude: Include: VerifyLength: false VerifyMd5: false CheckpointDir: xxxx [====================================================] 100.00% 1.68 MB/s 5s Upload successfully, 8.46MB, d:\temp\test.txt --> obs://bucket-test/key
- 以Windows操作系统为例,运行obsutil sync d:\temp obs://bucket-test/temp ,同步上传文件夹。
obsutil sync d:\temp obs://bucket-test/temp Parallel: 3 Jobs: 3 Threshold: 524288000 PartSize: 5242880 Exclude: Include: VerifyLength: false VerifyMd5: false CheckpointDir: xxxx OutputDir: xxxx [========================================================] 100.00% 2.02 KB/s 0s Succeed count is: 5 Failed count is: 0 Metrics [max cost:90 ms, min cost:45 ms, average cost:63.80 ms, average tps:35.71] Task id is: 104786c8-27c2-48fc-bc6a-5886596fb0ed
- 更多运行示例,请参见同步上传示例。
参数说明
参数 |
约束 |
描述 |
---|---|---|
file_url |
同步上传文件时必选 |
本地文件路径。 |
folder_url |
同步上传文件夹时必选 |
本地文件夹路径。 |
bucket |
必选 |
桶名。 |
key |
可选 |
同步上传文件时的对象名/对象名前缀,或同步上传文件夹时的对象名前缀。 规则如下:
说明:
|
fr |
附加参数,同步上传文件时可选 |
同步上传文件时生成结果清单文件。 |
arcDir |
附加参数,可选 |
同步上传文件成功后的归档路径,上传成功后的文件会移动到该路径下。 |
dryRun |
附加参数,可选 |
测试模式运行,不执行实际的上传操作。 |
link |
附加参数,可选 |
上传软链接文件/文件夹指向的真实路径。
须知:
|
vlength |
附加参数,可选 |
同步上传完成后,验证上传到桶中对象的大小是否与本地文件大小一致。 |
vmd5 |
附加参数,可选 |
同步上传完成后,验证上传到桶中对象的MD5值是否与本地文件的MD5值一致。
说明:
|
p |
附加参数,可选 |
每个分段上传任务的最大并发数,默认为配置文件中的defaultParallels。 |
threshold |
附加参数,可选 |
开启分段上传任务的阈值,单位:字节,默认为配置文件中的defaultBigfileThreshold。
说明:
|
acl |
附加参数,可选 |
同步上传文件时可指定的预定义访问策略。支持的值:
说明:
以上四个值分别对应:私有读写、公共读、公共读写、桶拥有者完全控制,四种预定义访问策略。 |
sc |
附加参数,可选 |
同步上传文件时可指定的对象的存储类型。支持的值:
|
meta |
附加参数,可选 |
上传文件时可指定的自定义元数据。格式为:key1:value1#key2:value2#key3:value3。
说明:
以上值表示上传文件完成后,桶内对象包含三组自定义元数据,分别为:key1:value1、key2:value2、key3:value3。 |
ps |
附加参数,可选 |
每个分段上传任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。
说明:
|
cpd |
附加参数,可选 |
生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。
说明:
每个分段上传任务会产生唯一对应的断点记录文件并保存至该文件夹的upload子文件夹下,分段任务执行成功后,对应的断点记录文件会被自动删除;分段任务执行失败或被中断后,下次执行该分段任务时会尝试通过对应的断点记录文件恢复任务。 |
j |
附加参数,同步文件夹时可选 |
同步上传文件夹时批量任务的最大并发数,默认为配置文件中的defaultJobs。
说明:
工具会保证该值至少为1。 |
exclude |
附加参数,同步文件夹时可选 |
不包含文件的匹配模式,如:*.txt。
说明:
须知:
|
include |
附加参数,同步文件夹时可选 |
包含文件的匹配模式,如:*.jpg。
说明:
须知:
|
at |
附加参数,同步上传文件夹时可选 |
同步上传文件时指定按照文件最后访问时间作为timeRange匹配模式,仅上传最后访问时间满足timeRange时间段的文件。
说明:
|
disableDirObject |
附加参数,同步上传多文件夹时可选 |
同步上传文件夹时,文件夹本身不会作为一个对象上传,在有很多空文件夹场景时候可以避免无用文件夹上传到对象存储桶中;文件夹下有文件时候,文件夹下文件依然会上传并保持原有路径格式,不受影响。 |
timeRange |
附加参数,同步上传文件夹时可选 |
同步上传文件时的时间段匹配模式,仅上传最后修改时间在该时间段内的文件。 该匹配模式优先级低于文件名匹配模式:exclude和include,优先执行文件名匹配模式后才会执行该匹配模式。
说明:
须知:
该匹配模式表示的时间是UTC时间。 |
mf |
附加参数,可选 |
设置名称匹配模式(include、exclude)和时间匹配模式(timeRange)对文件夹也生效。 |
o |
附加参数,可选 |
生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果、失败结果和警告结果三个文件),默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。
说明:
|
config |
附加参数,可选 |
运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 |
响应结果
请参考上传对象的响应结果。