上传对象
功能说明
上传单个或多个本地文件或文件夹至OBS指定路径。待上传的文件可以是任何类型:文本文件、图片、视频等等。
上传本地文件或文件夹时,请确保本地文件或文件夹在上传过程不发生变化,否则可能产生上传失败或者数据不一致的问题。
约束与限制
obsutil对上传的文件或文件夹有大小限制,最小可以上传0Byte的空文件或文件夹,最大可以上传5GB(未采用分段上传)或48.8TB(采用分段上传)的单个文件。
命令结构
- Windows操作系统
- 上传文件
obsutil cp file_url obs://bucket[/key] [-arcDir=xxx] [-dryRun] [-link] [-u] [-vlength] [-vmd5] [-p=1] [-threshold=5248800] [-acl=xxx] [-encoding-type=url] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-o=xxx] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
- 上传文件夹
obsutil cp folder_url obs://bucket[/key] -r [-arcDir=xxx] [-dryRun] [-link] [-f] [-flat] [-u] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-encoding-type=url] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
- 多文件/文件夹上传
obsutil cp file1_url,folder1_url|filelist_url obs://bucket[/prefix] -msm=1 [-r] [-arcDir=xxx] [-dryRun] [-link] [-f] [-u] [-vlength] [-vmd5] [-flat] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-encoding-type=url] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx][-timeRange=time1-time2] [-at] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
命令中的“/prefix”即为上传文件夹时的对象名前缀。运行示例请参见上传示例
- 上传文件
- Linux/Mac操作系统
- 上传文件
./obsutil cp file_url obs://bucket[/key] [-arcDir=xxx] [-dryRun] [-link] [-u] [-vlength] [-vmd5] [-p=1] [-threshold=5248800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-o=xxx] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
- 上传文件夹
./obsutil cp folder_url obs://bucket[/key] -r [-arcDir=xxx] [-dryRun] [-link] [-f] [-flat] [-u] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-at] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
- 多文件/文件夹上传
./obsutil cp file1_url,folder1_url|filelist_url obs://bucket[/prefix] -msm=1 [-r] [-arcDir=xxx] [-dryRun] [-link] [-f] [-u] [-vlength] [-vmd5] [-flat] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx][-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
命令中的“/prefix”即为上传文件夹时的对象名前缀。运行示例请参见上传示例
- 上传文件
运行示例
- 以Windows操作系统为例,运行obsutil cp d:\temp\test.txt obs://bucket-test/key,将D盘temp路径下名为test.txt的文件上传至bucket-test桶中,并且重命名为key。
obsutil cp d:\temp\test.txt obs://bucket-test/key Parallel: 3 Jobs: 3 Threshold: 524288000 PartSize: 5242880 Exclude: Include: VerifyLength: false VerifyMd5: false CheckpointDir: xxxx [====================================================] 100.00% 1.68 MB/s 8.46MB/8.46MB 5s Upload successfully, 8.46MB, d:\temp\test.txt --> obs://bucket-test/key
- 以Windows操作系统为例,运行obsutil cp d:\temp obs://bucket-test -f -r,递归上传D盘temp文件夹中的所有文件和子文件夹至bucket-test桶的temp文件夹中。
obsutil cp d:\temp obs://bucket-test -f -r Parallel: 3 Jobs: 3 Threshold: 524288000 PartSize: 5242880 Exclude: Include: VerifyLength: false VerifyMd5: false CheckpointDir: xxxx Task id: 104786c8-27c2-48fc-bc6a-5886596fb0ed OutputDir: xxxx [========================================================] 100.00% tps:35.71 2.02 KB/s 7.20MB/7.20MB 0s Succeed count is: 5 Failed count is: 0 Metrics [max cost:90 ms, min cost:45 ms, average cost:63.80 ms, average tps:35.71] Task id: 104786c8-27c2-48fc-bc6a-5886596fb0ed
- 更多运行示例,请参见上传示例。
参数说明
参数 |
约束 |
描述 |
---|---|---|
file_url |
多文件/文件夹上传时可选 上传文件时必选 |
本地文件路径。
说明:
|
folder_url |
多文件/文件夹上传时可选 上传文件夹时必选 |
本地文件夹路径。
说明:
|
filelist_url |
多文件/文件夹上传时可选 |
包含待上传文件/文件夹列表的文件,必须配置msm=2。 |
bucket |
必选 |
桶名。 |
key |
可选 |
上传文件时的对象名/对象名前缀,或上传文件夹时的对象名前缀。 规则如下:
说明:
请参考上传示例理解该参数的使用方式。 |
fr |
附加参数,上传文件时可选 |
上传文件时生成结果清单文件。 |
flat |
附加参数,多文件/文件夹上传或上传文件夹时可选 |
上传文件夹时,只上传该文件夹下的所有内容。 |
arcDir |
附加参数,可选 |
上传文件成功后的归档路径,上传成功后的文件会移动到该路径下。 |
dryRun |
附加参数,可选 |
测试模式运行,不执行实际的上传操作。 |
link |
附加参数,可选 |
上传软链接文件/文件夹指向的真实路径。
须知:
|
u |
附加参数,可选 |
增量上传操作,设置该参数后,上传每个文件时会对比桶中对应路径的对象,仅在对象不存在,或者对象大小与文件大小不一致,或者对象的最后修改时间早于文件的最后修改时间时进行上传。
注意:
在比较每个本地文件与桶内对象差异时,会产生一次HEAD请求费用。 |
vlength |
附加参数,可选 |
上传完成后,验证桶中对象的大小是否与本地文件大小一致。 |
vmd5 |
附加参数,可选 |
上传完成后,验证桶中对象的MD5值是否与本地文件的MD5值一致。
说明:
|
p |
附加参数,可选 |
每个分段上传任务的最大并发数,默认为配置文件中的defaultParallels。 |
threshold |
附加参数,可选 |
开启分段上传任务的阈值,单位:字节,默认为配置文件中的defaultBigfileThreshold。
说明:
|
acl |
附加参数,可选 |
上传文件时可指定的预定义访问策略。支持的值:
说明:
以上四个值分别对应:私有读写、公共读、公共读写、桶拥有者完全控制,四种预定义访问策略。 |
sc |
附加参数,可选 |
上传文件时可指定的对象的存储类型。支持的值:
|
meta |
附加参数,可选 |
上传文件时可指定的标准和自定义元数据。格式为:key1:value1#key2:value2#key3:value3。
说明:
|
ps |
附加参数,可选 |
每个分段上传任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。
说明:
|
cpd |
附加参数,可选 |
生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。
说明:
每个分段上传任务会产生唯一对应的断点记录文件并保存至该文件夹的upload子文件夹下,分段任务执行成功后,对应的断点记录文件会被自动删除;分段任务执行失败或被中断后,下次执行该分段任务时会尝试通过对应的断点记录文件恢复任务。 |
r |
附加参数,上传文件夹时必选 多文件上传时可选 |
递归上传文件夹中的所有文件和子文件夹。 |
f |
附加参数,多文件/文件夹上传或上传文件夹时可选 |
强制操作,不进行询问提示。 |
j |
附加参数,多文件/文件夹上传或上传文件夹时可选 |
上传文件夹时批量任务的最大并发数,默认为配置文件中的defaultJobs。
说明:
工具会保证该值至少为1。 |
encoding-type |
附加参数,可选 |
对象名有特殊字符时,取值为url。
说明:
Util 5.5.12版本及以上支持该参数。 |
msm |
附加参数,多文件/文件夹上传时必选 |
开启多文件/文件夹上传模式,支持的值:[1|2]。
说明:
|
exclude |
附加参数,多文件/文件夹上传或上传文件夹时可选 |
不包含文件的匹配模式,如:*.txt。
说明:
须知:
|
include |
附加参数,多文件/文件夹上传或上传文件夹时可选 |
包含文件的匹配模式,如:*.jpg。
说明:
说明:
如何使用include实现前缀匹配上传: ./obsutil cp /localpath/ obs://test/ -include=/localpath/2022-12-09/* -f -r 以上命令的含义是,上传本地路径localpath下符合匹配规则的文件到test桶下,匹配规则是以/localpath/2022-12-09/开头的。
须知:
|
at |
附加参数,多文件/文件夹上传或上传文件夹时可选 |
指定按照文件最后访问时间作为timeRange匹配模式,仅上传最后访问时间满足timeRange时间段的文件。
说明:
|
disableDirObject |
附加参数,多文件夹上传时可选 |
上传文件夹时候,文件夹本身不会作为一个对象上传,在有很多空文件夹场景时候可以避免无用文件夹上传到对象存储桶中;文件夹下有文件时候,文件夹下文件依然会上传并保持原有路径格式,不受影响。 |
timeRange |
附加参数,多文件/文件夹上传或上传文件夹时可选 |
上传文件时的时间段匹配模式,仅上传最后修改时间在该时间段内的文件。 该匹配模式优先级低于文件名匹配模式:exclude和include,优先执行文件名匹配模式后才会执行该匹配模式。
说明:
须知:
该匹配模式表示的时间是UTC时间。 |
mf |
附加参数,可选 |
设置名称匹配模式(include、exclude)和时间匹配模式(timeRange)对文件夹也生效。 |
o |
附加参数,可选 |
生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果、失败结果、警告结果三个文件),默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。
说明:
|
config |
附加参数,可选 |
运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 |
e |
附加参数,可选 |
指定终端节点。 |
i |
附加参数,可选 |
指定用户的AK。 |
k |
附加参数,可选 |
指定用户的SK。 |
t |
附加参数,可选 |
指定用户的securitytoken。 |
响应结果
字段名 |
描述 |
---|---|
Parallel |
请求中的-p参数。 |
Jobs |
请求中的-j参数。 |
Threshold |
请求中的-threshold参数。 |
PartSize |
请求中的-ps参数。 |
Exclude |
请求中的-exclude参数。 |
Include |
请求中的-include参数。 |
TimeRange |
请求中的-timeRange参数。 |
VerifyLength |
请求中的-vlength参数。 |
VerifyMd5 |
请求中的-vmd5参数。 |
CheckpointDir |
请求中的-cpd参数。 |
OutputDir |
请求中的-o参数。 |
ArcDir |
请求中的-arcDir参数。 |
Succeed count |
成功的任务数。 |
Failed count |
失败的任务数。 |
Skip count |
增量上传/下载/复制、同步上传/下载/复制跳过的任务数。
说明:
跳过的任务数也会记录到成功的任务数中。 |
Warning count |
执行完成但包含警告的任务数。
说明:
|
Succeed bytes |
上传/下载成功的字节数。 |
max cost |
所有任务中的最长耗时,单位:毫秒。 |
min cost |
所有任务中的最短耗时,单位:毫秒。 |
average cost |
平均耗时,单位:毫秒。 |
average tps |
平均每秒的任务完成个数。 |
Task id |
每次运行的唯一标识号,用于查找批量任务生成的结果清单文件。 |