上传对象-追加上传(Python SDK)
功能说明
您可以根据需要上传文件或者文件夹至已有的OBS桶。待上传的文件可以是任何类型:文本文件、图片、视频等。
追加写对象操作是指在指定桶内的一个对象尾追加上传数据,不存在相同对象键值的对象则创建新对象。
接口约束
- 您必须是桶拥有者或拥有上传对象的权限,才能上传对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:PutObject权限,如果使用桶策略则需授予PutObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。
- OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。
- 用户上传的对象存储在桶中。用户必须对桶有WRITE权限,才可以在桶中上传对象。同一个桶中存储的对象名必须是唯一的。
- 每次追加上传都会更新该对象的最后修改时间。
- 服务端加密SSE-C方式,那么追加上传和初始化段一样,设置诸如x-obs-server-side-encryption之类的请求Header,后续追加上传也必须携带。
- 服务端加密SSE-KMS方式,有且只有第一次上传且桶内不存在同名对象时,才设置诸如x-obs-server-side-encryption之类的请求Header,后续追加上传不携带。
- 每次追加上传的长度不能超过对象长度上限5G的限制。
- 每个Appendable对象追加写次数最多为10000次。
- 如果对象存储类型为COLD(归档存储)或深度归档存储,则不能调用该接口。
- 如果桶设置了跨区域复制配置,则不能调用该接口。
- 并行文件系统不支持追加写对象。
方法定义
ObsClient.appendObject(bucketName, objectKey, content, metadata, headers, progressCallback, autoClose, extensionHeaders)
请求参数
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
bucketName |
str |
必选 |
参数解释: 桶名。 约束限制:
默认取值: 无 |
objectKey |
str |
必选 |
参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
content |
必选 |
参数解释: 追加上传的内容。 取值范围: 默认取值: 无 |
|
metadata |
dict |
可选 |
参数解释: 追加上传的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制:
默认取值: 无 |
headers |
可选 |
参数解释: 追加上传对象的头域,用于设置对象的基本信息,包括存储类别、冗余策略等。 约束限制: 仅第一次追加上传有效。 取值范围: 默认取值: 无 |
|
progressCallback |
callable |
可选 |
参数解释: 获取上传进度的回调函数。 默认取值: 无
说明:
该回调函数依次包含三个参数:已上传的字节数、总字节数、已使用的时间(单位:秒),示例代码参考上传对象-获取上传进度。 |
autoClose |
bool |
可选 |
参数解释: 上传完成后,自动关闭数据流。 取值范围: True:自动关闭数据流。 False:不开启自动关闭数据流。 默认取值: True |
extensionHeaders |
dict |
可选 |
参数解释: 接口的拓展头域。 取值范围: 参考自定义头域。 默认取值: 无 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
content |
str 或 readable object |
可选 |
参数解释: 追加上传的内容。 取值范围:
说明:
如果content是可读对象(包含“read”属性),则从中读取数据,否则作为字符串处理。 默认取值: 无 |
position |
int 或 str |
必选 |
参数解释: 追加写位置。 约束限制: 需要追加写的对象首次上传时就必须指定为0,下次追加需要填写的值为服务端本次上传成功返回消息的nextPosition。 取值范围: 大于等于0的整型数,单位:字节。 默认取值: 0 |
offset |
int 或 str |
可选 |
参数解释: 追加上传的内容为本地文件时,指明文件的起始偏移大小, 单位为字节。 取值范围: 大于等于0的整型数,单位:字节。 默认取值: 0 |
isFile |
bool |
可选 |
参数解释: 指明content字段是否代表文件路径。 取值范围: True:content字段代表文件路径。 False:content字段不代表文件路径。 默认取值: False |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
md5 |
str |
可选 |
参数解释: 待追加上传内容的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。 取值范围: 按照RFC 1864标准计算出消息体的MD5摘要字符串,即消息体128-bit MD5值经过base64编码后得到的字符串。 示例:n58IG6hfM7vqI4K0vnWpog==。 默认取值: 无 |
acl |
str |
可选 |
参数解释: 追加上传时可指定的预定义访问策略。有关访问控制列表(Access Control List,ACL)功能的详细信息可参见ACL功能介绍。 约束限制: 仅第一次追加上传时可设置,后续追加上传时,系统默认与第一次追加上传的配置保持一致。 取值范围: 可选择的访问策略选项参见预定义访问策略。 默认取值: 无 |
location |
str |
可选 |
参数解释: 当桶设置了Website配置,可以将获取这个对象的请求重定向到桶内另一个对象或一个外部的URL。 例如,重定向请求到桶内另一对象: location:/anotherPage.html 或重定向请求到一个外部URL: location:http://www.example.com/ OBS将这个值从头域中取出,保存在对象的元数据“location”中。 约束限制:
默认取值: 无 |
contentType |
str |
可选 |
参数解释: 第一次追加上传时可指定的对象类型(MIME类型)。contentType(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式. 取值范围: 常见的contentType(MIME)列表参见如何理解Content-Type(MIME)?(Python SDK)。 约束限制: 仅第一次追加上传时可设置,后续追加上传时,系统默认与第一次追加上传的配置保持一致。 默认取值: 如果您在上传Object时未指定contentType,SDK会根据指定Object名称的后缀名来判定文件类型并自动填充contentType。 |
contentLength |
int |
可选 |
参数解释: 待追加上传内容的长度。 约束限制:
默认取值: 如果不传,则sdk会自动计算上传对象数据的长度。 |
sseHeader |
或 |
可选 |
参数解释: 对象的服务端加密头域。 约束限制: 仅第一次追加上传时可设置,后续追加上传时,系统默认与第一次追加上传的配置保持一致。 默认取值: 无 |
storageClass |
str |
可选 |
参数解释: 追加上传时可指定的对象的存储类型。 约束限制: 仅第一次追加上传时可设置,后续追加上传时,系统默认与第一次追加上传的配置保持一致。 取值范围:
默认取值: 无 |
successActionRedirect |
str |
可选 |
参数解释: 此参数的值是一个URL,用于指定当此次请求操作成功响应后的重定向的地址。
默认取值: 无 |
extensionGrants |
list of ExtensionGrant |
可选 |
参数解释: 追加上传时可指定的扩展权限列表。 约束限制: 仅第一次追加上传时可设置,后续追加上传时,系统默认与第一次追加上传的配置保持一致。 取值范围: 参考 ExtensionGrant。 默认取值: 与首次追加上传的参数值保持一致。 |
expires |
int |
可选 |
参数解释: 追加上传时可指定的对象的生命周期(从对象最后修改时间开始计算),过期之后对象会被自动删除。 约束限制:
取值范围: 大于等于0的整型数,单位:天。 默认取值: 无 |
常量名 |
原始值 |
说明 |
---|---|---|
HeadPermission.PRIVATE |
private |
私有读写。 桶或对象的所有者拥有完全控制的权限,其他任何人都没有访问权限。 |
HeadPermission.PUBLIC_READ |
public-read |
公共读私有写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。 设在对象上,所有人可以获取该对象内容和元数据。 |
HeadPermission.PUBLIC_READ_WRITE |
public-read-write |
公共读写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本、上传对象、删除对象、初始化段任务、上传段、合并段、拷贝段、取消多段上传任务。 设在对象上,所有人可以获取该对象内容和元数据。 |
HeadPermission.PUBLIC_READ_DELIVERED |
public-read-delivered |
桶公共读,桶内对象公共读。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本,可以获取该桶内对象的内容和元数据。
说明:
PUBLIC_READ_DELIVERED不能应用于对象。 |
HeadPermission.PUBLIC_READ_WRITE_DELIVERED |
public-read-write-delivered |
桶公共读写,桶内对象公共读写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本、上传对象、删除对象、初始化段任务、上传段、合并段、拷贝段、取消多段上传任务,可以获取该桶内对象的内容和元数据。
说明:
PUBLIC_READ_WRITE_DELIVERED不能应用于对象。 |
HeadPermission.BUCKET_OWNER_FULL_CONTROL |
public-read-write-delivered |
设在对象上,桶和对象的所有者拥有对象的完全控制权限,其他任何人都没有访问权限。默认情况下,上传对象至其他用户的桶中,桶拥有者没有对象的控制权限。对象拥有者为桶拥有者添加此权限控制策略后,桶所有者可以完全控制对象。例如,用户A上传对象x至用户B的桶中,系统默认用户B没有对象x的控制权。当用户A为对象x设置bucket-owner-full-control策略后,用户B就拥有了对象x的控制权。 |
参数名称 |
参数类型 |
描述 |
---|---|---|
STANDARD |
标准存储 |
参数解释: 标准存储拥有低访问时延和较高的吞吐量,适用于有大量热点对象(平均一个月多次)或小对象(<1MB),且需要频繁访问数据的业务场景。 |
WARM |
低频访问存储 |
参数解释: 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 |
COLD |
归档存储 |
参数解释: 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。 |
DEEP_ARCHIVE |
深度归档存储(受限公测) |
参数解释: 深度归档存储适用于长期不访问(平均几年访问一次)数据的业务场景。 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
encryption |
str |
必选 |
参数解释: 以SSE-C方式加密对象。 取值范围: AES256,即高级加密标准(Advanced Encryption Standard,AES)。 默认取值: 无 |
key |
str |
必选 |
参数解释: SSE-C方式下加密的密钥,与加密方式对应,如encryption=‘AES256’,密钥就是由AES256加密算法得到的密钥。 取值范围: 长度为32字符串。 默认取值: 无 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
encryption |
str |
必选 |
参数解释: 以SSE-KMS方式加密对象。 取值范围: 可选值:kms,即选择SSE-KMS方式加密对象。 默认取值: 无 |
key |
str |
可选 |
参数解释: SSE-KMS方式下加密的主密钥。 取值范围: 支持两种格式的密钥描述方式:
其中:
默认取值:
|
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
granteeId |
str |
可选 |
参数解释: 被授权用户的账号ID,即domain_id。 取值范围: 获取账号ID的方法请参见如何获取账号ID和用户ID?(Python SDK)。 默认取值: 无 |
permission |
str |
可选 |
参数解释: 被授予的权限。 默认取值: 无 |
常量值 |
说明 |
---|---|
READ |
读权限。 如果有桶的读权限,则可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。 如果有对象的读权限,则可以获取该对象内容和元数据。 |
WRITE |
写权限。 如果有桶的写权限,则可以上传、覆盖和删除该桶内任何对象和段。 此权限在对象上不适用。 |
READ_ACP |
读取ACL配置的权限。 如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 |
WRITE_ACP |
修改ACL配置的权限。 如果有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有写对应桶或对象的ACP的权限。 拥有了写ACP的权限,由于可以更改权限控制策略,实际上意味着拥有了完全访问的权限。 |
FULL_CONTROL |
完全控制权限,包括对桶或对象的读写权限,以及对桶或对象ACL配置的读写权限。 如果有桶的完全控制权限意味着拥有READ、WRITE、READ_ACP和WRITE_ACP的权限。 如果有对象的完全控制权限意味着拥有READ、READ_ACP和WRITE_ACP的权限。 |
返回结果
类型 |
说明 |
---|---|
参数解释: SDK公共结果对象。 |
参数名称 |
参数类型 |
描述 |
---|---|---|
status |
int |
参数解释: HTTP状态码。 取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 默认取值: 无 |
reason |
str |
参数解释: HTTP文本描述。 默认取值: 无 |
errorCode |
str |
参数解释: OBS服务端错误码,当status参数小于300时为空。 默认取值: 无 |
errorMessage |
str |
参数解释: OBS服务端错误描述,当status参数小于300时为空。 默认取值: 无 |
requestId |
str |
参数解释: OBS服务端返回的请求ID。 默认取值: 无 |
indicator |
str |
参数解释: OBS服务端返回的错误定位码。 默认取值: 无 |
hostId |
str |
参数解释: 请求的服务端ID,当status参数小于300时为空。 默认取值: 无 |
resource |
str |
参数解释: 发生错误时相关的桶或对象,当status参数小于300时为空。 默认取值: 无 |
header |
list |
参数解释: 响应消息头列表,由多个元组构成。每个元组均包含两个元素,代表响应头的键值对。 默认取值: 无 |
body |
object |
参数解释: 操作成功后的结果数据,当status大于300时为空。该值根据调用接口的不同而不同,参见“桶相关接口”章节和“对象相关接口”章节的详细描述。 默认取值: 无 |
GetResult.body类型 |
说明 |
---|---|
参数解释: 追加上传的响应结果,参考AppendObjectResponse。 |
参数名称 |
参数类型 |
描述 |
---|---|---|
storageClass |
str |
参数解释: 对象的存储类型。 取值范围:
默认取值: 无 |
etag |
str |
参数解释: 对象的etag值,即base64编码的128位MD5摘要。etag是对象内容的唯一标识,可以通过该值识别对象内容是否有变化。比如上传对象时etag为A,下载对象时etag为B,则说明对象内容发生了变化。etag只反映变化的内容,而不是其元数据。上传的对象或拷贝操作创建的对象,都有唯一的etag。 约束限制: 当对象是服务端加密的对象时,etag值不是对象的MD5值。 取值范围: 长度为32的字符串。 默认取值: 无 |
nextPosition |
int |
参数解释: 下次追加上传的位置。 取值范围: 大于等于0的整型数,单位:字节。 默认取值: 无 |
sseKms |
str |
参数解释: SSE-KMS方式的算法。 取值范围: kms,即以SSE-KMS方式加密对象。 默认取值: 无 |
sseKmsKey |
str |
参数解释: SSE-KMS加密方式下使用的KMS主密钥的ID值。 取值范围: 有效值支持两种格式:
其中:
默认取值:
|
sseC |
str |
参数解释: SSE-C方式的算法。 取值范围: AES256。 默认取值: 无 |
sseCKeyMd5 |
str |
参数解释: SSE-C方式下加密使用密钥的MD5值,该值用于验证密钥传输过程中是否出错。 约束限制: 由密钥值经过MD5加密再经过Base64编码后得到,示例:4XvB3tbNTN+tIEVa0/fGaQ== 默认取值: 无 |
objectUrl |
str |
参数解释: 对象的全路径。 默认取值: 无 |
代码样例
本示例用于追加上传对象。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 |
from obs import ObsClient from obs import AppendObjectContent import os import traceback # 推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险 # 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html ak = os.getenv("AccessKeyID") sk = os.getenv("SecretAccessKey") # 【可选】如果使用临时AKSK和SecurityToken访问OBS,则同样推荐通过环境变量获取 # security_token = os.getenv("SecurityToken") # server填写Bucket对应的Endpoint, 这里以华北-北京四为例,其他地区请按实际情况填写 server = "https://obs.cn-north-4.myhuaweicloud.com" # 创建obsClient实例 # 如果使用临时AKSK和SecurityToken访问OBS,需要在创建实例时通过security_token参数指定securityToken值 obsClient = ObsClient(access_key_id=ak, secret_access_key=sk, server=server) try: # 追加上传的消息体 content = AppendObjectContent() # 设置追加内容 content.content = 'Hello OBS' # 设置追加内容起始位置,此处以对象的0个字节为起始位置 content.position = 0 # 第一次调用追加上传时,如果已存在同名的普通对象,则抛出异常(状态码为409) bucketName = "examplebucket" # 追加上传的对象名 objectKey = "objectname" # 追加上传 resp = obsClient.appendObject(bucketName, objectKey, content) # 返回码为2xx时,接口调用成功,否则接口调用失败 if resp.status < 300: print('Append Object Succeeded') print('requestId:', resp.requestId) print('nextPosition:', resp.body.nextPosition) else: print('Append Object Failed') print('requestId:', resp.requestId) print('errorCode:', resp.errorCode) print('errorMessage:', resp.errorMessage) except: print('Append Object Failed') print(traceback.format_exc()) |
- ObsClient.putObject上传的对象可覆盖ObsClient.appendObject上传的对象,覆盖后对象变为普通对象,不可再进行追加上传。
- 第一次调用追加上传时,如果已存在同名的普通对象,则会抛出异常(HTTP状态码为409)。
- 追加上传返回的ETag是追加数据内容的ETag,不是完整对象的ETag。
- 单次追加上传的内容不能超过5GB,且最多支持10000次追加上传。
- 追加上传成功后,可通过返回结果中body.nextPosition获取下次追加上传的位置;或者通过ObsClient.getObjectMetadata接口获取下次追加上传的位置。