文档首页/ 对象存储服务 OBS/ SDK参考/ Python/ 多段相关接口(Python SDK)/ 分段上传-合并段(Python SDK)
更新时间：2024-09-05 GMT+08:00
查看PDF
分享

分段上传-合并段(Python SDK)

功能说明

如果用户上传完所有的段，就可以调用合并段接口，系统将在服务端将用户指定的段合并成一个完整的对象。在执行“合并段”操作以前，用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中，其处理过程和普通上传对象带这些消息头的处理过程相同。在并发合并段的情况下，仍然遵循Last Write Win策略，但“Last Write”的时间定义为段任务的初始化时间。

已经上传的段，只要没有取消对应的多段上传任务，都要占用用户的容量配额；对应的多段上传任务“合并段”操作完成后，只有指定的多段数据占用容量配额，用户上传的其他此多段任务对应的段数据如果没有包含在“合并段”操作指定的段列表中，“合并段”完成后系统将删除多余的段数据，且同时释放容量配额。

合并段时，OBS通过按升序的段编号规范化多段来创建对象。如果在初始化上传段任务中提供了任何对象元数据，则OBS会将该元数据与对象相关联。成功完成请求后，段将不再存在。合并段请求必须包括上传ID以及段编号和相应的ETag值的列表。OBS响应包括可唯一地识别组合对象数据的ETag。此ETag无需成为对象数据的MD5哈希。

接口约束

  • 您必须是桶拥有者或拥有合并段的权限，才能合并段。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:object:PutObject权限，如果使用桶策略则需授予PutObject权限。相关授权方式介绍可参见OBS权限控制概述，配置方式详见使用IAM自定义策略、配置对象策略。
  • OBS支持的Region与Endpoint的对应关系，详细信息请参见地区与终端节点。
  • 如果上传了10个段，但合并时只选择了9个段进行合并，那么未被合并的段将会被系统自动删除，未被合并的段删除后不能恢复。在进行合并之前请使用列出已上传的段接口进行查询，仔细核对所有段，确保没有段被遗漏。

方法定义

ObsClient.completeMultipartUpload(bucketName, objectKey, uploadId, completeMultipartUploadRequest)

请求参数

表1 请求参数列表

参数名称

参数类型

是否必选

描述

bucketName

str

必选

参数解释：

桶名。

约束限制：

  • 桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。
  • 桶命名规则如下：
    • 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻（如：“my..bucket”）。
    • 禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。
  • 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。

默认取值：

无

objectKey

str

必选

参数解释：

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。

例如，您对象的访问地址为examplebucket.obs.ap-southeast-1.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

说明：

对象链接地址格式为：https://桶名.域名/文件夹目录层级/对象名。如果该对象存在于桶的根目录下，则链接地址将不需要有文件夹目录层级。

uploadId

str

必选

参数解释：

分段上传任务的ID，例如：000001648453845DBB78F2340DD460D8

取值范围：

长度为32的字符串。

默认取值：

无

completeMultipartUploadRequest

CompleteMultipartUploadRequest

必选

参数解释：

合并段请求参数。详见CompleteMultipartUploadRequest。

isAttachCrc64

bool

可选

参数解释：

是否根据每个段的crc64值计算整个对象的crc64值。

约束限制：

  • 不支持POSIX、SFS对象。
  • 需要在CompleteMultipartUploadRequest中传入每个段的crc64值与大小，并且所有段都需要在上传段时校验crc64。

取值范围：

  • True表示由SDK计算整个对象的crc64并提交服务端校验。
  • False不检验crc64。

默认取值：

False

encoding_type

str

可选

参数解释：

对响应中的key进行指定类型的编码。如果key包含xml 1.0标准不支持的控制字符，可通过设置该参数对响应中的key进行编码。

取值范围：

可选值为url。

默认取值：

无，不设置则不编码。
表2 CompleteMultipartUploadRequest

参数名称

参数类型

是否必选

描述

parts

list of CompletePart

必选

参数解释：

待合并的段列表。详见CompletePart。
表3 CompletePart

参数名称

参数类型

是否必选

描述

partNum

int

必选

参数解释：

段号。

取值范围：

[1,10000]

默认取值：

无

etag

str

必选

参数解释：

段的ETag值。分段的base64编码的128位MD5摘要。

取值范围：

长度为32的字符串。

默认取值：

无

crc64

int

或

str

或

long

可选

参数解释：

段的crc64值。根据ECMA-182标准计算得出的64位CRC。

约束限制：

不支持POSIX、SFS对象。

取值范围：

根据ECMA-182标准计算得出的64位CRC。

默认取值：

无

size

int

可选

参数解释：

段大小。

约束限制：

当传入crc64值时，该值必传。

取值范围：

100KB~5GB，单位字节。

默认取值：

无

返回结果

表4 返回结果

类型

说明

GetResult

参数解释：

SDK公共结果对象。
表5 GetResult

参数名称

参数类型

描述

status

int

参数解释：

HTTP状态码。

取值范围：

状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见状态码。

默认取值：

无

reason

str

参数解释：

HTTP文本描述。

默认取值：

无

errorCode

str

参数解释：

OBS服务端错误码，当status参数小于300时为空。

默认取值：

无

errorMessage

str

参数解释：

OBS服务端错误描述，当status参数小于300时为空。

默认取值：

无

requestId

str

参数解释：

OBS服务端返回的请求ID。

默认取值：

无

indicator

str

参数解释：

OBS服务端返回的错误定位码。

默认取值：

无

hostId

str

参数解释：

请求的服务端ID，当status参数小于300时为空。

默认取值：

无

resource

str

参数解释：

发生错误时相关的桶或对象，当status参数小于300时为空。

默认取值：

无

header

list

参数解释：

响应消息头列表，由多个元组构成。每个元组均包含两个元素，代表响应头的键值对。

默认取值：

无

body

object

参数解释：

操作成功后的结果数据，当status大于300时为空。该值根据调用接口的不同而不同，参见“桶相关接口”章节和“对象相关接口”章节的详细描述。

默认取值：

无
表6 GetResult.body

GetResult.body类型

说明

CompleteMultipartUploadResponse

参数解释：

合并段响应结果。详见CompleteMultipartUploadResponse。
表7 CompleteMultipartUploadResponse

参数名称

参数类型

描述

etag

str

参数解释：

合并段后根据各个段的ETag值计算出的结果，是对象内容的唯一标识。

约束限制：

当对象是服务端加密的对象时，ETag值不是对象的MD5值。

取值范围：

长度为32的字符串。

默认取值：

无1

crc64

str

参数解释：

对象的crc64值，即根据ECMA-182标准计算得出的64位CRC。crc64是对象内容的唯一标识，可以通过该值识别对象内容是否有变化。比如上传对象时crc64为A，下载对象时crc64为B，则说明对象内容发生了变化。crc64只反映变化的内容，而不是其元数据。

约束限制：

  • 当上传对象校验了crc64值或开启了桶crc64特性的情况下才会返回。
  • 不支持POSIX、SFS对象。

取值范围：

根据ECMA-182标准计算得出的64位CRC。

默认取值：

无

bucket

str

参数解释：

合并段所在的桶的桶名。

约束限制：

  • 桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。
  • 桶命名规则如下：
    • 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻（如：“my..bucket”）。
    • 禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。
  • 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。

默认取值：

无

key

str

参数解释：

合并段后得到的对象名。

对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。

例如，您对象的访问地址为examplebucket.obs.ap-southeast-1.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

location

str

参数解释：

合并段后得到的对象的url。

例如：https://example-Bucket.obs.regions.myhuaweicloud.com/example-Object

默认取值：

无

versionId

str

参数解释：

合并段后得到的对象版本号。

取值范围：

长度为32的字符串。

默认取值：

无

crc64

str

参数解释：

对象的crc64值，即根据ECMA-182标准计算得出的64位CRC。crc64是对象内容的唯一标识，可以通过该值识别对象内容是否有变化。比如上传对象时crc64为A，下载对象时crc64为B，则说明对象内容发生了变化。crc64只反映变化的内容，而不是其元数据。

约束限制：

  • 当上传对象校验了crc64值或开启了桶crc64特性的情况下才会返回。
  • 不支持POSIX、SFS对象

取值范围：

根据ECMA-182标准计算得出的64位CRC。

默认取值：

无

sseKms

str

参数解释：

SSE-KMS方式的算法。

取值范围：

kms，即以SSE-KMS方式加密对象。

默认取值：

无

sseKmsKey

str

参数解释：

SSE-KMS加密方式下使用的KMS主密钥的ID值。

取值范围：

有效值支持两种格式：

  1. regionID:domainID(账号ID):key/key_id
  2. key_id

其中：

默认取值：

  • 如果用户没有提供该头域，那么默认的主密钥将会被使用。
  • 如果默认主密钥不存在，将默认创建并使用。

sseC

str

参数解释：

SSE-C方式的算法。

取值范围：

AES256。

默认取值：

无

sseCKeyMd5

str

参数解释：

SSE-C方式下加密使用密钥的MD5值，该值用于验证密钥传输过程中是否出错。

约束限制：

由密钥值经过MD5加密再经过Base64编码后得到，示例：4XvB3tbNTN+tIEVa0/fGaQ==

默认取值：

无

objectUrl

str

参数解释：

合并段后得到的对象的全路径。

默认取值：

无

encoding_type

str

参数解释：

用于指定对响应中的Key进行指定类型的编码。如果Key包含xml 1.0标准不支持的控制字符，可通过设置该参数对响应中的Key进行编码。

取值范围：

可选值为url。

默认取值：

无，不设置则不编码。

代码样例

本示例用于合并段。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
 
from obs import ObsClient
from obs import CompleteMultipartUploadRequest, CompletePart
import os
import traceback

# 推荐通过环境变量获取AKSK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险。
# 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/intl/zh-cn/usermanual-ca/ca_01_0003.html。
ak = os.getenv("AccessKeyID")
sk = os.getenv("SecretAccessKey")
# 【可选】如果使用临时AKSK和SecurityToken访问OBS，则同样推荐通过环境变量获取
security_token = os.getenv("SecurityToken")
# server填写Bucket对应的Endpoint, 这里以中国-香港为例，其他地区请按实际情况填写。
server = "https://obs.ap-southeast-1.myhuaweicloud.com" 
# 创建obsClient实例
# 如果使用临时AKSK和SecurityToken访问OBS，需要在创建实例时通过security_token参数指定securityToken值
obsClient = ObsClient(access_key_id=ak, secret_access_key=sk, server=server)
try:
    # completeMultipartUploadRequest是要合并的段的列表，每个段有partNum和etag两个值
    part1 = CompletePart(partNum='partNumber1', etag='etag1')
    part2 = CompletePart(partNum='partNumber2', etag='etag2')
    completeMultipartUploadRequest = CompleteMultipartUploadRequest(parts=[part1, part2])

    bucketName = "examplebucket"
    objectKey = "objectname"
    # 分段上传任务的ID
    uploadId = "your uploadid"
    # 合并指定桶中已上传的段
    resp = obsClient.completeMultipartUpload(bucketName, objectKey, uploadId, completeMultipartUploadRequest, encoding_type='url')

    # 返回码为2xx时，接口调用成功，否则接口调用失败
    if resp.status < 300:
        print('Complete Multipart Upload Succeeded')
        print('requestId:', resp.requestId)
        print('etag:', resp.body.etag)
        print('bucket:', resp.body.bucket)
        print('key:', resp.body.key)
        print('location:', resp.body.location)
        print('versionId:', resp.body.versionId)
    else:
        print('Complete Multipart Upload Failed')
        print('requestId:', resp.requestId)
        print('errorCode:', resp.errorCode)
        print('errorMessage:', resp.errorMessage)
except:
    print('Complete Multipart Upload Failed')
    print(traceback.format_exc())

相关链接

  • 关于分段上传-合并段的API说明，请参见合并段。
  • 更多关于分段上传的示例代码，请参见Github示例。
  • 分段上传过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。