链接复制成功!
流式上传(PUT上传)
使用场景
如果待上传的文本文件、图片、视频等资源小于5GB,您可以选择流式上传,即PUT操作的方式将对象上传到桶中。
PUT上传中参数通过请求头域传递,上传需在URL中指定对象名,请求行为如下所示:
PUT /ObjectName HTTP/1.1
虽然OBS服务支持您将对象上传到指定region的桶里,但是华为云并不感知您对象的具体内容。如果您对象上传行为涉及跨境传输,请您确保使用本服务符合所适用的法律法规要求。
前提条件
- 至少已创建了一个桶,并且拥有桶的写权限。
- 如果您需要将文件归类处理,可以先新建文件夹,然后将相关的文件上传到文件夹中。新建文件夹的步骤请参见创建文件夹。
使用限制
大小及数量限制:。
- 流式上传可以上传小于5GB的文件,超过5 GB的文件上传请使用6.10.4多段上传。
- 您可以通过设置桶配额限制单个桶上传对象的总容量,详情请参见管理桶配额。
命名限制:
对象名命名规则详见对象键命名指导原则。
批量操作限制:
支持批量上传功能需要满足以下条件:
OBS桶的版本号为“3.0”。桶版本号的查看方法请参见OBS 2.0和OBS 3.0的判断方法。
文件夹上传限制:
控制台、OBS Browser+、obsutil支持直接上传文件夹。
其他限制:
- 在未开启多版本控制功能的情况下,
- 如果新上传的文件和桶内文件重名,则新上传的文件会自动覆盖老文件,且不会保留老文件的ACL等信息;
- 如果新上传的文件夹和桶内文件夹重名,则上传后会将新老文件夹合并,合并过程如遇重名文件,会使用新上传的文件夹中的文件进行覆盖。
- 在开启了多版本控制功能的情况下,如果新上传的文件和桶内文件重名,则会在老文件上新增一个版本。关于多版本的详细介绍请参见多版本控制。
使用方式
OBS支持通过控制台、API、SDK、OBS Browser+、obsutil方式上传对象。
使用OBS控制台
- 在OBS管理控制台左侧导航栏选择“桶列表”。
- 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。
- 进入待上传的文件夹,单击“上传对象”,系统弹出“上传对象”对话框。
如果待上传至OBS的文件存放在Microsoft OneDrive中,建议这些待上传文件的名称不要超过32位,以保证兼容性。
图1 上传对象
- 指定对象的存储类别。如果不指定,默认与桶的存储类别一致。
对象存储类别和桶存储类别可以不一致。上传对象时,对象的存储类别默认继承桶的存储类别,您也可以重新指定对象的存储类别,同时也支持在对象上传完成后修改对象的存储类别。
- 拖拽本地文件或文件夹至“上传对象”区域框内添加待上传的文件。
也可以通过单击“上传对象”区域框内的“添加文件”,选择本地文件进行添加。
- 服务端加密:可以选择“不开启加密”、“SSE-KMS”或“SSE-OBS”。详情请参见服务端加密。
如果桶配置了服务端加密,上传对象时您可以选择“继承桶的加密配置”。
- 可选:如果您需要配置元数据、WORM保留策略、对象标签,可单击“下一步:高级配置(可选)”进行配置。
当桶开启了WORM功能,高级配置才支持配置WORM保留策略。
配置元数据:可配置的对象元数据包括:ContentDisposition、ContentLanguage、WebsiteRedirectLocation、ContentEncoding、ContentType。各元数据具体含义请参见OBS元数据。元数据是一组名称值对,包括名称和值,值不能为空。如需配置两组以上元数据,单击“添加”即可新增。
配置保留策略:可选择“继承桶策略”或者选择“配置”后输入保留期,自动保护上传到此存储桶的新对象,保证其不被删除。
配置标签:通过使用标签来标识对象。输入标签键和值。关于标签相关内容,具体请参见对象标签。
图2 配置元数据或WORM保留策略 - 单击“上传”。
使用API
使用图形化工具OBS Browser+
- 登录OBS Browser+。
- 单击想要上传文件或文件夹的桶。
- 单击“上传”,并选择“添加文件”或“添加文件夹”,如图3所示。
使用“添加文件”功能上传对象时,为了更好的体验,建议您最多同时选择100个文件进行上传,如果超过此限制,建议将多个文件放在文件夹中,然后使用“添加文件夹”功能进行上传。
文件必须有访问权限才可以上传,否则上传任务会失败。
- 在弹出的对话框中,选中需要上传的文件或文件夹后单击“打开”。
客户端支持一次上传一个文件夹,或一次同时上传多个文件。上传多个文件时,按住“Ctrl”或“Shift”同时选择多个文件即可,同时支持“Ctrl+A”全选操作。操作习惯与Windows操作系统上的操作习惯保持一致。
- 单击“确定”。
使用命令行工具obsutil
命令结构:
- Windows操作系统
- 上传文件
obsutil cp file_url obs://bucket[/key] [-arcDir=xxx] [-dryRun] [-link] [-u] [-vlength] [-vmd5] [-p=1] [-threshold=5248800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-o=xxx] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
- 上传文件夹
obsutil cp folder_url obs://bucket[/key] -r [-arcDir=xxx] [-dryRun] [-link] [-f] [-flat] [-u] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
- 多文件/文件夹上传
obsutil cp file1_url,folder1_url|filelist_url obs://bucket[/prefix] -msm=1 [-r] [-arcDir=xxx] [-dryRun] [-link] [-f] [-u] [-vlength] [-vmd5] [-flat] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx][-timeRange=time1-time2] [-at] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
命令中的“/prefix”即为上传文件夹时的对象名前缀。运行示例请参见上传示例。
- 上传文件
- Linux/Mac操作系统
- 上传文件
./obsutil cp file_url obs://bucket[/key] [-arcDir=xxx] [-dryRun] [-link] [-u] [-vlength] [-vmd5] [-p=1] [-threshold=5248800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-o=xxx] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
- 上传文件夹
./obsutil cp folder_url obs://bucket[/key] -r [-arcDir=xxx] [-dryRun] [-link] [-f] [-flat] [-u] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-at] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
- 多文件/文件夹上传
./obsutil cp file1_url,folder1_url|filelist_url obs://bucket[/prefix] -msm=1 [-r] [-arcDir=xxx] [-dryRun] [-link] [-f] [-u] [-vlength] [-vmd5] [-flat] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx][-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
命令中的“/prefix”即为上传文件夹时的对象名前缀。运行示例请参见上传示例。
- 上传文件
运行示例:
- 以Windows操作系统为例,运行obsutil cp d:\temp\test.txt obs://bucket-test/key,将D盘temp路径下名为test.txt的文件上传至bucket-test桶中,并且重命名为key。
obsutil cp d:\temp\test.txt obs://bucket-test/key Start at 2024-09-30 08:11:41.6724827 +0000 UTC Parallel: 5 Jobs: 5 Threshold: 50.00MB PartSize: auto VerifyLength: false VerifyMd5: false CheckpointDir: C:\Users\Administrator\.obsutil_checkpoint [====================================================] 100.00% 1.68 MB/s 8.46MB/8.46MB 5s Upload successfully, 8.46MB, n/a, d:\temp\test.txt --> obs://bucket-test/key, cost [5], status [200], request id [0000016979E1D2B2860BB5181229C72C]
- 以Windows操作系统为例,运行obsutil cp d:\temp obs://bucket-test -f -r,递归上传D盘temp文件夹中的所有文件和子文件夹至bucket-test桶的temp文件夹中。
obsutil cp d:\temp obs://bucket-test -f -r Start at 2024-09-30 08:14:12.1406275 +0000 UTC Parallel: 5 Jobs: 5 Threshold: 50.00MB PartSize: auto VerifyLength: false VerifyMd5: false CheckpointDir: C:\Users\Administrator\.obsutil_checkpoint Task id: 104786c8-27c2-48fc-bc6a-5886596fb0ed OutputDir: C:\Users\Administrator\.obsutil_output [========================================================] 100.00% tps:35.71 2.02 KB/s 7.20MB/7.20MB 0s Succeed count: 5 Failed count: 0 Succeed bytes: xxx Metrics [max cost:90 ms, min cost:45 ms, average cost:63.80 ms, average tps:35.71, transfered size: 7.20MB] Task id: 104786c8-27c2-48fc-bc6a-5886596fb0ed
- 更多运行示例,请参见上传示例。
参数说明:
参数 |
约束 |
描述 |
---|---|---|
file_url |
多文件/文件夹上传时可选 上传文件时必选 |
本地文件路径。
说明:
|
folder_url |
多文件/文件夹上传时可选 上传文件夹时必选 |
本地文件夹路径。
说明:
|
filelist_url |
多文件/文件夹上传时可选 |
包含待上传文件/文件夹列表的文件,必须配置msm=2。 |
bucket |
必选 |
桶名。 |
key |
可选 |
上传文件时的对象名/对象名前缀,或上传文件夹时的对象名前缀。 规则如下:
说明:
请参考上传示例理解该参数的使用方式。 |
fr |
附加参数,上传文件时可选 |
上传文件时生成结果清单文件。 |
flat |
附加参数,多文件/文件夹上传或上传文件夹时可选 |
上传文件夹时,只上传该文件夹下的所有内容。 |
arcDir |
附加参数,可选 |
上传文件成功后的归档路径,上传成功后的文件会移动到该路径下。 |
dryRun |
附加参数,可选 |
测试模式运行,不执行实际的上传操作。 |
link |
附加参数,可选 |
上传软链接文件/文件夹指向的真实路径。
须知:
|
u |
附加参数,可选 |
增量上传操作,设置该参数后,上传每个文件时会对比桶中对应路径的对象,仅在对象不存在,或者对象大小与文件大小不一致,或者对象的最后修改时间早于文件的最后修改时间时进行上传。
注意:
在比较每个本地文件与桶内对象差异时,会产生一次HEAD请求费用。 |
vlength |
附加参数,可选 |
上传完成后,验证桶中对象的大小是否与本地文件大小一致。 |
vmd5 |
附加参数,可选 |
上传完成后,验证桶中对象的MD5值是否与本地文件的MD5值一致。
说明:
注意:
如果您的业务涉及加密场景,请勿使用该参数。 |
p |
附加参数,可选 |
每个分段上传任务的最大并发数,默认为配置文件中的defaultParallels。 |
threshold |
附加参数,可选 |
开启分段上传任务的阈值,单位:字节,默认为配置文件中的defaultBigfileThreshold。
说明:
|
acl |
附加参数,可选 |
上传文件时可指定的预定义访问策略。支持的值:
说明:
以上四个值分别对应:私有读写、公共读、公共读写、桶拥有者完全控制,四种预定义访问策略。 |
sc |
附加参数,可选 |
上传文件时可指定的对象的存储类型。支持的值:
|
meta |
附加参数,可选 |
上传文件时可指定的标准和自定义元数据。格式为:key1:value1#key2:value2#key3:value3。
说明:
|
ps |
附加参数,可选 |
每个分段上传任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。
说明:
|
cpd |
附加参数,可选 |
生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。
说明:
每个分段上传任务会产生唯一对应的断点记录文件并保存至该文件夹的upload子文件夹下,分段任务执行成功后,对应的断点记录文件会被自动删除;分段任务执行失败或被中断后,下次执行该分段任务时会尝试通过对应的断点记录文件恢复任务。 |
r |
附加参数,上传文件夹时必选 多文件上传时可选 |
递归上传文件夹中的所有文件和子文件夹。 |
f |
附加参数,多文件/文件夹上传或上传文件夹时可选 |
强制操作,不进行询问提示。 |
j |
附加参数,多文件/文件夹上传或上传文件夹时可选 |
上传文件夹时批量任务的最大并发数,默认为配置文件中的defaultJobs。
说明:
工具会保证该值至少为1。 |
msm |
附加参数,多文件/文件夹上传时必选 |
开启多文件/文件夹上传模式,支持的值:[1|2]。
说明:
|
exclude |
附加参数,多文件/文件夹上传或上传文件夹时可选 |
不包含文件的匹配模式,如:*.txt。
说明:
须知:
|
include |
附加参数,多文件/文件夹上传或上传文件夹时可选 |
包含文件的匹配模式,如:*.jpg。
说明:
说明:
如何使用include实现前缀匹配上传: ./obsutil cp /localpath/ obs://test/ -include=/localpath/2022-12-09/* -f -r 以上命令的含义是,上传本地路径localpath下符合匹配规则的文件到test桶下,匹配规则是以/localpath/2022-12-09/开头的。
须知:
|
at |
附加参数,多文件/文件夹上传或上传文件夹时可选 |
指定按照文件最后访问时间作为timeRange匹配模式,仅上传最后访问时间满足timeRange时间段的文件。
说明:
|
disableDirObject |
附加参数,多文件夹上传时可选 |
上传文件夹时候,文件夹本身不会作为一个对象上传,在有很多空文件夹场景时候可以避免无用文件夹上传到对象存储桶中;文件夹下有文件时候,文件夹下文件依然会上传并保持原有路径格式,不受影响。 |
timeRange |
附加参数,多文件/文件夹上传或上传文件夹时可选 |
上传文件时的时间段匹配模式,仅上传最后修改时间在该时间段内的文件。 该匹配模式优先级低于文件名匹配模式:exclude和include,优先执行文件名匹配模式后才会执行该匹配模式。
说明:
须知:
该匹配模式表示的时间是UTC时间。 |
mf |
附加参数,可选 |
设置名称匹配模式(include、exclude)和时间匹配模式(timeRange)对文件夹也生效。 |
o |
附加参数,可选 |
生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果、失败结果、警告结果三个文件),默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。
说明:
|
config |
附加参数,可选 |
运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 |
e |
附加参数,可选 |
指定终端节点。 |
i |
附加参数,可选 |
指定用户的AK。 |
k |
附加参数,可选 |
指定用户的SK。 |
t |
附加参数,可选 |
指定用户的securitytoken。 |
响应结果:
字段名 |
描述 |
---|---|
Parallel |
请求中的-p参数。 |
Jobs |
请求中的-j参数。 |
Threshold |
请求中的-threshold参数。 |
PartSize |
请求中的-ps参数。 |
Exclude |
请求中的-exclude参数。 |
Include |
请求中的-include参数。 |
TimeRange |
请求中的-timeRange参数。 |
VerifyLength |
请求中的-vlength参数。 |
VerifyMd5 |
请求中的-vmd5参数。 |
CheckpointDir |
请求中的-cpd参数。 |
OutputDir |
请求中的-o参数。 |
ArcDir |
请求中的-arcDir参数。 |
Succeed count |
成功的任务数。 |
Failed count |
失败的任务数。 |
Skip count |
增量上传/下载/复制、同步上传/下载/复制跳过的任务数。
说明:
跳过的任务数也会记录到成功的任务数中。 |
Warning count |
执行完成但包含警告的任务数。
说明:
|
Succeed bytes |
上传/下载成功的字节数。 |
max cost |
所有任务中的最长耗时,单位:毫秒。 |
min cost |
所有任务中的最短耗时,单位:毫秒。 |
average cost |
平均耗时,单位:毫秒。 |
average tps |
平均每秒的任务完成个数。 |
Task id |
每次运行的唯一标识号,用于查找批量任务生成的结果清单文件。 |