文档首页/ 对象存储服务 OBS/ SDK参考/ Python/ 多段相关接口(Python SDK)/ 分段上传-上传段(Python SDK)
更新时间：2024-11-13 GMT+08:00
查看PDF
分享

分段上传-上传段(Python SDK)

功能说明

初始化分段上传任务后，通过分段上传任务的ID，上传段到指定桶中。除了最后一段以外，其他段的大小范围是100KB~5GB；最后一段的大小范围是0~5GB。上传的段的编号也有范围限制，其范围是1~10000。

上传段时，除了指定上传ID，还必须指定段编号。您可以选择1和10000之间的任意段编号。段编号在您正在上传的对象中唯一地标示了段及其位置。如果您使用之前上传的段的同一段编号上传新段，则之前上传的段将被覆盖。无论您何时上传段，OBS都将在其响应中返回ETag标头。对于每个段上传任务，您必须记录每个段编号和ETag值。您在随后的请求中需要添加这些值以完成多段上传。

接口约束

  • 您必须是桶拥有者或拥有上传段的权限，才能上传段。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:object:PutObject权限，如果使用桶策略则需授予PutObject权限。相关授权方式介绍可参见OBS权限控制概述，配置方式详见使用IAM自定义策略、配置对象策略。
  • OBS支持的Region与Endpoint的对应关系，详细信息请参见地区与终端节点。
  • 初始化上传段任务并上传一个或多个段之后，您必须合并段或取消多段上传任务，才能停止收取已上传的段的存储费用。仅当在合并段或取消多段上传任务之后，OBS才释放段存储并停止向您收取段存储费用。
  • 段任务中的partNumber是唯一的，重复上传相同partNumber的段，后一次上传会覆盖前一次上传内容。多并发上传同一对象的同一partNumber时，服务端遵循Last Write Win策略，但“Last Write”的时间定义为段元数据创建时间。为了保证数据准确性，客户端需要加锁保证同一对象的同一个段上传的并发性。同一对象的不同段并发上传不需要加锁。

方法定义

ObsClient.uploadPart(bucketName, objectKey, partNumber, uploadId, object, isFile, partSize, offset, sseHeader, isAttachMd5, md5, progressCallback, autoClose, extensionHeaders)

请求参数

表1 请求参数列表

参数名称

参数类型

是否必选

描述

bucketName

str

必选

参数解释：

桶名。

约束限制：

  • 桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。
  • 桶命名规则如下：
    • 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻（如：“my..bucket”）。
    • 禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。
  • 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。

默认取值：

无

objectKey

str

必选

参数解释：

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。

例如，您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

说明：

对象链接地址格式为：https://桶名.域名/文件夹目录层级/对象名。如果该对象存在于桶的根目录下，则链接地址将不需要有文件夹目录层级。

partNumber

int

必选

参数解释：

段号。

取值范围：

[1,10000]

默认取值：

无

uploadId

str

必选

参数解释：

分段上传任务的ID。任务ID可以通过初始化分段上传任务生成。例如：000001648453845DBB78F2340DD460D8。

约束限制：

长度为32的字符串。

默认取值：

无

object

str

或

readable object

必选

参数解释：

待上传段的内容。

取值范围：

字符串或者可读对象。

说明：

如果object是可读对象（包含“read”属性），则从中读取数据，否则作为字符串处理。

默认取值：

无

isFile

bool

可选

参数解释：

指明object字段是否代表文件路径。

取值范围：

True：object字段代表文件路径。

False：object字段不代表文件路径。

默认取值：

False

offset

int

可选

参数解释：

源文件中某一分段的起始偏移大小。

取值范围：

非负整数，不大于待上传对象的大小，单位：字节。

默认取值：

0

partSize

int

可选

参数解释：

当前段的长度。

约束限制：

  • 上传段接口要求除最后一段以外，其他的段大小都要大于100KB。但是上传段接口并不会立即校验上传段的大小（因为不知道是否为最后一段），只有调用合并段接口时才会校验。
  • OBS 3.0的桶支持最小段的大小为100KB，OBS 2.0的桶支持最小段的大小为5MB。

取值范围：

100KB~5GB，单位：字节。

默认取值：

102400字节

sseHeader

SseCHeader

可选

参数解释：

服务端加密头域。详见SseCHeader。

默认取值：

无

isAttachMd5

bool

可选

参数解释：

是否自动计算待上传数据的MD5值。

约束限制：

isAttachMd5和md5同时使用时，忽略isAttachMd5字段。

取值范围：

True：自动计算上传数据的MD5值。

False：不自动计算上传数据的MD5值。

默认取值：

False

md5

str

可选

参数解释：

待上传段数据的MD5值（经过Base64编码），是上传段数据内容的唯一标识，可以通过该值识别对象内容是否有变化。

约束限制：

isAttachMd5和md5同时使用时，忽略isAttachMd5字段。

取值范围：

长度为32的字符串。

默认取值：

无

crc64

int

或

str

或

long

可选

参数解释：

待上传数据的crc64值。

约束限制：

不支持POSIX、SFS对象。

取值范围：

根据ECMA-182标准计算得出的64位CRC。

默认取值：

无

isAttachCrc64

bool

可选

参数解释：

是否自动计算待上传数据的crc64值。

约束限制：

不支持POSIX、SFS对象。

取值范围：

  • True表示由SDK计算crc64并提交服务端校验。
  • False不检验crc64。

默认取值：

Falsed

progressCallback

callable

可选

参数解释：

获取上传进度的回调函数。

默认取值：

无

说明：

该回调函数依次包含三个参数：已上传的字节数、总字节数、已使用的时间（单位：秒）。

autoClose

bool

可选

参数解释：

上传完成后，自动关闭数据流。

取值范围：

True：自动关闭数据流。

False：不自动关闭数据流。

默认取值：

True

extensionHeaders

dict

可选

参数解释：

接口的拓展头域。

取值范围：

参考自定义头域。

默认取值：

无
表2 SseCHeader

参数名称

参数类型

是否必选

描述

encryption

str

必选

参数解释：

以SSE-C方式加密对象。

取值范围：

AES256，即高级加密标准（Advanced Encryption Standard，AES）。

默认取值：

无

key

str

必选

参数解释：

SSE-C方式下加密的密钥，与加密方式对应，如encryption=‘AES256’，密钥就是由AES256加密算法得到的密钥。

取值范围：

长度为32字符串。

默认取值：

无

返回结果

表3 返回结果

类型

说明

GetResult

参数解释：

SDK公共结果对象。
表4 GetResult

参数名称

参数类型

描述

status

int

参数解释：

HTTP状态码。

取值范围：

状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见状态码。

默认取值：

无

reason

str

参数解释：

HTTP文本描述。

默认取值：

无

errorCode

str

参数解释：

OBS服务端错误码，当status参数小于300时为空。

默认取值：

无

errorMessage

str

参数解释：

OBS服务端错误描述，当status参数小于300时为空。

默认取值：

无

requestId

str

参数解释：

OBS服务端返回的请求ID。

默认取值：

无

indicator

str

参数解释：

OBS服务端返回的错误定位码。

默认取值：

无

hostId

str

参数解释：

请求的服务端ID，当status参数小于300时为空。

默认取值：

无

resource

str

参数解释：

发生错误时相关的桶或对象，当status参数小于300时为空。

默认取值：

无

header

list

参数解释：

响应消息头列表，由多个元组构成。每个元组均包含两个元素，代表响应头的键值对。

默认取值：

无

body

object

参数解释：

操作成功后的结果数据，当status大于300时为空。该值根据调用接口的不同而不同，参见“桶相关接口”章节和“对象相关接口”章节的详细描述。

默认取值：

无
表5 GetResult.body

GetResult.body类型

说明

UploadPartResponse

参数解释：

上传段响应结果。
表6 UploadPartResponse

参数名称

参数类型

描述

etag

str

参数解释：

段的base64编码的128位MD5摘要。ETag是段内容的唯一标识，可以通过该值识别段内容是否有变化。

取值范围：

长度为32的字符串。

默认取值：

无

crc64

str

参数解释：

段的crc64值，即根据ECMA-182标准计算得出的64位CRC。crc64是段内容的唯一标识，可以通过该值识别段内容是否有变化。

约束限制：

  • 当上传段校验了crc64值或开启了桶crc64特性的情况下才会返回。
  • 不支持POSIX、SFS对象。

取值范围：

根据ECMA-182标准计算得出的64位CRC。

默认取值：

无

sseKms

str

参数解释：

表示服务端加密是SSE-KMS方式。对象使用SSE-KMS方式加密。

取值范围：

可选值：kms，即选择SSE-KMS方式加密对象。

默认取值：

无

sseKmsKey

str

参数解释：

SSE-KMS加密方式下使用的KMS主密钥的ID值。

取值范围：

有效值支持两种格式：

  1. regionID:domainID(账号ID):key/key_id
  2. key_id

其中：

默认取值：

  • 如果用户没有提供该头域，那么默认的主密钥将会被使用。
  • 如果默认主密钥不存在，将默认创建并使用。

sseC

str

参数解释：

使用SSE-C方式加解密对象时，选择的加解密算法。

取值范围：

支持的值为AES256，即高级加密标准（Advanced Encryption Standard，AES）。

默认取值：

无

sseCKeyMd5

str

参数解释：

SSE-C方式下加密使用密钥的MD5值，该值用于验证密钥传输过程中是否出错。

约束限制：

由密钥值经过MD5加密再经过Base64编码后得到，示例：4XvB3tbNTN+tIEVa0/fGaQ==

默认取值：

无

代码样例

本示例用于上传段。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
 
from obs import ObsClient
import os
import traceback

# 推荐通过环境变量获取AKSK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险
# 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
ak = os.getenv("AccessKeyID")
sk = os.getenv("SecretAccessKey")
# 【可选】如果使用临时AKSK和SecurityToken访问OBS，则同样推荐通过环境变量获取
# security_token = os.getenv("SecurityToken")
# server填写Bucket对应的Endpoint, 这里以华北-北京四为例，其他地区请按实际情况填写
server = "https://obs.cn-north-4.myhuaweicloud.com"
# 创建obsClient实例
# 如果使用临时AKSK和SecurityToken访问OBS，需要在创建实例时通过security_token参数指定securityToken值
obsClient = ObsClient(access_key_id=ak, secret_access_key=sk, server=server)
try:
    bucketName = "examplebucket"
    # 上传到obs桶里的对象名称
    objectKey = "objectname"
    # 段号，取值范围：1~10000
    partNumber = "your partNumber"
    # 分段上传任务的ID
    uploadId = "your uploadid"
    # 待上传段的内容str或readable object
    object = 'Hello OBS'
    # 指明object字段是否代表文件路径，默认为False
    isFile = False
    # 源文件中某一分段的起始偏移大小，默认值为0， 单位为字节
    offset = 0
    # 源文件中某一分段的大小，默认值为文件大小减去offset的剩下字节数，单位为字节
    partSize = 9 * 1024 * 1024
    # 是否自动计算待上传数据的MD5值，默认为False
    isAttachMd5 = True
    # 通过分段上传任务的ID，上传段到指定桶中
    resp = obsClient.uploadPart(bucketName, objectKey, partNumber, uploadId, object, isFile, partSize,
                                offset, isAttachMd5=isAttachMd5)

    # 返回码为2xx时，接口调用成功，否则接口调用失败
    if resp.status < 300:
        print('Upload Part Succeeded')
        print('requestId:', resp.requestId)
        print('etag:', resp.body.etag)
    else:
        print('Upload Part Failed')
        print('requestId:', resp.requestId)
        print('errorCode:', resp.errorCode)
        print('errorMessage:', resp.errorMessage)
except:
    print('Upload Part Failed')
    print(traceback.format_exc())

相关链接

  • 关于分段上传-上传段的API说明，请参见上传段。
  • 更多关于分段上传的示例代码，请参见Github示例。
  • 分段上传过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。

相关文档