文档首页> 对象存储服务 OBS> Python> 对象相关接口(Python SDK)> 上传对象-断点续传上传(Python SDK)
更新时间:2024-03-26 GMT+08:00

上传对象-断点续传上传(Python SDK)

功能说明

对分段上传的封装和加强,解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录在checkpoint文件中,仅当所有分段都上传成功时返回上传成功的结果,否则返回错误信息提醒用户再次调用接口进行重新上传(重新上传时因为有checkpoint文件记录当前的上传进度,避免重新上传所有分段,从而节省资源提高效率)。

接口约束

  • 您必须是桶拥有者或拥有上传对象的权限,才能上传对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:PutObject权限,如果使用桶策略则需授予PutObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略配置对象策略
  • OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点
  • 断点续传上传接口传入的文件大小至少要100K以上。
  • 使用SDK的断点续传接口时,必须开启断点续传选项后才能在进程再次进入时读取上一次上传的进度。

方法定义

ObsClient.uploadFile(bucketName, objectKey, uploadFile, partSize, taskNum, enableCheckpoint, checkpointFile, checkSum, metadata, progressCallback, headers)

请求参数

表1 请求参数列表

参数名称

参数类型

描述

说明

bucketName

str

必选

参数解释

桶名。

约束限制:

  • 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。
  • 桶命名规则如下:
    • 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻(如:“my..bucket”)。
    • 禁止“.”和“-”相邻(如:“my-.bucket”和“my.-bucket”)。
  • 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。

默认取值:

objectKey

str

必选

参数解释:

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。

例如,您对象的访问地址为examplebucket.obs.ap-southeast-1.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

uploadFile

str

必选

参数解释:

待上传本地文件的完整路径,如aa/bb.txt。

默认取值:

partSize

int

可选

参数解释:

分段大小。

取值范围:

100KB~5GB,单位字节。

默认取值:

9MB

taskNum

int

可选

参数解释:

分段上传时的最大并发数。

取值范围:

1~10000

默认取值:

1,即不设置则默认串行上传。

enableCheckpoint

bool

可选

参数解释:

是否开启断点续传模式。

取值范围:

True:开启断点续传模式。

False:关闭断点续传模式。

默认取值:

False

checkpointFile

str

可选

参数解释:

断点续传过程中,会生成一个进度记录文件,文件中会记录段的上传进度和段的相关信息。checkpointFile参数为该记录文件的文件路径。

约束限制:

仅在断点续传模式下有效。

默认取值:

当该值为空时,默认为待上传的本地文件的同级目录。

checkSum

bool

可选

参数解释:

是否校验待上传文件的内容,如果开启该参数,会在每次任务重新开始前对待上传文件进行校验,验证是否与任务初始化时使用文件为同一文件。

取值范围:

True:校验待上传文件的内容。

False:不校验待上传文件的内容。

默认取值:

False

metadata

dict

可选

参数解释:

待上传对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。

约束限制:

  • 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8 编码中的字节总数。
  • 自定义元数据的key值不区分大小写,OBS统一转为小写进行存储。value值区分大小写。
  • 自定义元数据key-value对都必须符合US-ASCII。如果一定要使用非ASCII码或不可识别字符,需要客户端自行做编解码处理,可以采用URL编码或者Base64编码,服务端不会做解码处理。

默认取值:

progressCallback

callable

可选

参数解释:

获取上传进度的回调函数。

默认取值:

说明:

该回调函数依次包含三个参数:已上传的字节数、总字节数、已使用的时间(单位:秒),示例代码参考上传对象-获取上传进度

headers

UploadFileHeader

可选

参数解释:

上传对象的头域,用于设置对象的基本信息,包括存储类别、冗余策略等。

取值范围:

参考UploadFileHeader

默认取值:

表2 UploadFileHeader

参数名称

参数类型

描述

说明

acl

str

可选

参数解释:

创建对象时可指定的预定义访问策略。有关访问控制列表(Access Control List,ACL)功能的详细信息可参见ACL功能介绍

取值范围:

可选择的访问策略选项参见预定义访问策略

默认取值:

location

str

可选

参数解释:

当桶设置了Website配置,可以将获取这个对象的请求重定向到桶内另一个对象或一个外部的URL。

例如,重定向请求到桶内另一对象:

location:/anotherPage.html

或重定向请求到一个外部URL:

location:http://www.example.com/

OBS将这个值从头域中取出,保存在对象的元数据“location”中。

约束限制:

  • 必须以“/”、“http://”或“https://”开头,长度不超过2KB。
  • OBS仅支持为桶根目录下的对象设置重定向,不支持为桶中文件夹下的对象设置重定向。

默认取值:

contentType

str

可选

参数解释:

待上传对象的文件类型(MIME类型)。contentType(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式。

取值范围:

常见的contentType(MIME)列表参见如何理解Content-Type(MIME)?

默认取值:

如果您在上传Object时未指定contentType,SDK会根据指定Object名称的后缀名来判定文件类型并自动填充contentType。

sseHeader

SseCHeader

SseKmsHeader

可选

参数解释:

服务端加密头域。

默认取值:

storageClass

str

可选

参数解释:

对象的存储类型。

取值范围:

可选择的存储类型参见存储类型

默认取值:

successActionRedirect

str

可选

参数解释:

此参数的值是一个URL,用于指定当此次请求操作成功响应后的重定向的地址。

  • 如果此参数值有效且操作成功,响应码为303,返回值中的Location头域由此参数以及桶名、对象名、对象的ETag组成。
  • 如果此参数值无效,则OBS忽略此参数的作用,返回值中的Location头域为对象地址,响应码根据操作成功或失败正常返回。

默认取值:

extensionGrants

list of ExtensionGrant

可选

参数解释:

待上传对象的扩展权限列表。

取值范围:

参考ExtensionGrant

默认取值:

expires

int

可选

参数解释:

表示对象的过期时间(从对象最后修改时间开始计算),过期之后对象会被自动删除。

约束限制:

此字段对于每个对象仅支持上传时配置,不支持后期通过修改元数据接口修改。

取值范围:

大于等于0的整型数,单位:天。

默认取值:

表3 HeadPermission

常量值

说明

PRIVATE

私有读写。

桶或对象的所有者拥有完全控制的权限,其他任何人都没有访问权限。

PUBLIC_READ

公共读私有写。

设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。

设在对象上,所有人可以获取该对象内容和元数据。

PUBLIC_READ_WRITE

公共读写。

设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本、上传对象、删除对象、初始化段任务、上传段、合并段、拷贝段、取消多段上传任务。

设在对象上,所有人可以获取该对象内容和元数据。

PUBLIC_READ_DELIVERED

桶公共读,桶内对象公共读。

设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本,可以获取该桶内对象的内容和元数据。

说明:

PUBLIC_READ_DELIVERED不能应用于对象。

PUBLIC_READ_WRITE_DELIVERED

桶公共读写,桶内对象公共读写。

设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本、上传对象、删除对象、初始化段任务、上传段、合并段、拷贝段、取消多段上传任务,可以获取该桶内对象的内容和元数据。

说明:

PUBLIC_READ_WRITE_DELIVERED不能应用于对象。

BUCKET_OWNER_FULL_CONTROL

设在对象上,桶和对象的所有者拥有对象的完全控制权限,其他任何人都没有访问权限。默认情况下,上传对象至其他用户的桶中,桶拥有者没有对象的控制权限。对象拥有者为桶拥有者添加此权限控制策略后,桶所有者可以完全控制对象。例如,用户A上传对象x至用户B的桶中,系统默认用户B没有对象x的控制权。当用户A为对象x设置bucket-owner-full-control策略后,用户B就拥有了对象x的控制权。

表4 StorageClass

参数名称

参数类型

描述

STANDARD

标准存储

参数解释:

标准存储拥有低访问时延和较高的吞吐量,适用于有大量热点对象(平均一个月多次)或小对象(<1MB),且需要频繁访问数据的业务场景。

WARM

低频访问存储

参数解释:

低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。

COLD

归档存储

参数解释:

归档存储适用于很少访问(平均一年访问一次)数据的业务场景。

表5 SseCHeader

参数名称

参数类型

是否必选

描述

encryption

str

必选

参数解释:

以SSE-C方式加密对象。

取值范围:

AES256,即高级加密标准(Advanced Encryption Standard,AES)。

默认取值:

key

str

必选

参数解释:

SSE-C方式下加密的密钥,与加密方式对应,如encryption=‘AES256’,name密钥就是由AES256加密算法得到的密钥。

取值范围:

长度为32字符串。

默认取值:

表6 SseKmsHeader

参数名称

参数类型

是否必选

描述

encryption

str

必选

参数解释:

以SSE-KMS方式加密对象。

取值范围:

可选值:kms,即选择SSE-KMS方式加密对象。

默认取值:

key

str

可选

参数解释:

SSE-KMS方式下加密的主密钥。

取值范围:

支持两种格式的密钥描述方式:

  • regionID:domainID(租户ID):key/key_id
  • key_id

其中:

默认取值:

  • 如果用户没有提供该头域,那么默认的主密钥将会被使用。
  • 如果默认主密钥不存在,将默认创建并使用。
表7 ExtensionGrant

参数名称

参数类型

描述

说明

granteeId

str

可选

参数解释:

被授权用户的账号ID,即domain_id。

取值范围:

获取账号ID的方法请参见如何获取账号ID和用户ID?(Python SDK)

默认取值:

permission

str

可选

参数解释:

被授予的权限

默认取值:

表8 Permission

常量值

说明

READ

读权限。

如果有桶的读权限,则可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。

如果有对象的读权限,则可以获取该对象内容和元数据。

WRITE

写权限。

如果有桶的写权限,则可以上传、覆盖和删除该桶内任何对象和段。

此权限在对象上不适用。

READ_ACP

读取ACL配置的权限。

如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。

桶或对象的所有者永远拥有读对应桶或对象ACP的权限。

WRITE_ACP

修改ACL配置的权限。

如果有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。

桶或对象的所有者永远拥有写对应桶或对象的ACP的权限。

拥有了写ACP的权限,由于可以更改权限控制策略,实际上意味着拥有了完全访问的权限。

FULL_CONTROL

完全控制权限,包括对桶或对象的读写权限,以及对桶或对象ACL配置的读写权限。

如果有桶的完全控制权限意味着拥有READ、WRITE、READ_ACP和WRITE_ACP的权限。

如果有对象的完全控制权限意味着拥有READ、READ_ACP和WRITE_ACP的权限。

返回结果

表9 返回结果

类型

说明

GetResult

参数解释:

SDK公共结果对象。

表10 GetResult

参数名称

参数类型

描述

status

int

参数解释:

HTTP状态码。

取值范围:

状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码

默认取值:

reason

str

参数解释:

HTTP文本描述。

默认取值:

errorCode

str

参数解释:

OBS服务端错误码,当status参数小于300时为空。

默认取值:

errorMessage

str

参数解释:

OBS服务端错误描述,当status参数小于300时为空。

默认取值:

requestId

str

参数解释:

OBS服务端返回的请求ID。

默认取值:

indicator

str

参数解释:

OBS服务端返回的错误定位码。

默认取值:

hostId

str

参数解释:

请求的服务端ID,当status参数小于300时为空。

默认取值:

resource

str

参数解释:

发生错误时相关的桶或对象,当status参数小于300时为空。

默认取值:

header

list

参数解释:

响应消息头列表,由多个元组构成。每个元组均包含两个元素,代表响应头的键值对。

默认取值:

body

object

参数解释:

操作成功后的结果数据,当status大于300时为空。该值根据调用接口的不同而不同,参见“桶相关接口”章节和“对象相关接口”章节的详细描述。

默认取值:

表11 GetResult.body

GetResult.body类型

说明

CompleteMultipartUploadResponse

参数解释:

合并段响应结果,参考CompleteMultipartUploadResponse

表12 CompleteMultipartUploadResponse

参数名称

参数类型

描述

etag

str

参数解释:

合并段后根据各个段的ETag值计算出的结果。

参数解释:

对象的ETag值,即base64编码的128位MD5摘要。ETag是对象内容的唯一标识,可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A,下载对象时ETag为B,则说明对象内容发生了变化。ETag只反映变化的内容,而不是其元数据。上传的对象或拷贝操作创建的对象,都有唯一的ETag。

约束限制:

当对象是服务端加密的对象时,ETag值不是对象的MD5值。

取值范围:

长度为32的字符串。

默认取值:

bucket

str

参数解释:

合并段所在的桶的桶名。

约束限制:

  • 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。
  • 桶命名规则如下:
    • 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻(如:“my..bucket”)。
    • 禁止“.”和“-”相邻(如:“my-.bucket”和“my.-bucket”)。
  • 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。

默认取值:

key

str

参数解释:

合并段后得到的对象名。

对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。

例如,您对象的访问地址为examplebucket.obs.ap-southeast-1.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

location

str

参数解释:

合并段后得到的对象的url。

例如:https://example-Bucket.obs.regions.myhuaweicloud.com/example-Object

默认取值:

versionId

str

参数解释:

合并段后得到的对象版本号。

取值范围:

长度为32的字符串。

默认取值:

sseKms

str

参数解释:

SSE-KMS方式的算法。

取值范围:

kms,即以SSE-KMS方式加密对象。

默认取值:

sseKmsKey

str

参数解释:

SSE-KMS加密方式下使用的KMS主密钥的ID值。

取值范围:

有效值支持两种格式:

  1. regionID:domainID(账号ID):key/key_id
  2. key_id

其中:

默认取值:

  • 如果用户没有提供该头域,那么默认的主密钥将会被使用。
  • 如果默认主密钥不存在,将默认创建并使用。

sseC

str

参数解释:

SSE-C方式的算法。

取值范围:

AES256。

默认取值:

sseCKeyMd5

str

参数解释:

SSE-C方式下加密使用密钥的MD5值,该值用于验证密钥传输过程中是否出错。

约束限制:

由密钥值经过MD5加密再经过Base64编码后得到,示例:4XvB3tbNTN+tIEVa0/fGaQ==

默认取值:

objectUrl

str

参数解释:

合并段后得到的对象的全路径。

默认取值:

encoding_type

str

参数解释:

用于指定对响应中的Key进行指定类型的编码。如果Key包含xml 1.0标准不支持的控制字符,可通过设置该参数对响应中的Key进行编码。

取值范围:

可选值为url。

默认取值:

无,不设置则不编码。

代码样例

本示例用于断点续传上传本地localfile对象到examplebucket中。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
from obs import ObsClient
import os
import traceback

# 推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险。
# 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/intl/zh-cn/usermanual-ca/ca_01_0003.html。
ak = os.getenv("AccessKeyID")
sk = os.getenv("SecretAccessKey")
# 【可选】如果使用临时AKSK和SecurityToken访问OBS,则同样推荐通过环境变量获取
security_token = os.getenv("SecurityToken")
# server填写Bucket对应的Endpoint, 这里以中国-香港为例,其他地区请按实际情况填写。
server = "https://obs.ap-southeast-1.myhuaweicloud.com"
# 创建obsClient实例
# 如果使用临时AKSK和SecurityToken访问OBS,需要在创建实例时通过security_token参数指定securityToken值
obsClient = ObsClient(access_key_id=ak, secret_access_key=sk, server=server)

try:
    bucketName = "examplebucket"
    # 对象名,即上传后的文件名
    objectKey = "objectname"
    # 下载到本地的路径,包含本地文件名称的全路径
    uploadFile = 'localfile'
    # 分段下载的并发数
    taskNum = 5
    # 分段的大小,单位字节,此处为10MB
    partSize = 10 * 1024 * 1024
    # True表示开启断点续传
    enableCheckpoint = True
    # 断点续传上传
    resp = obsClient.uploadFile(bucketName, objectKey, uploadFile, partSize, taskNum, enableCheckpoint, encoding_type='url')

    # 返回码为2xx时,接口调用成功,否则接口调用失败
    if resp.status < 300:
        print('Upload File Succeeded')
        print('requestId:', resp.requestId)
    else:
        print('Upload File Failed')
        print('requestId:', resp.requestId)
        print('errorCode:', resp.errorCode)
        print('errorMessage:', resp.errorMessage)
except:
    print('Upload File Failed')
    print(traceback.format_exc())

相关链接

  • 更多关于上传对象的示例代码,请参见Github示例
  • 上传对象过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码
  • 上传对象常见问题请参见上传对象失败