# 分段上传-上传段(Python SDK) #### 功能说明 初始化分段上传任务后，通过分段上传任务的ID，上传段到指定桶中。除了最后一段以外，其他段的大小范围是100KB\~5GB；最后一段的大小范围是0\~5GB。上传的段的编号也有范围限制，其范围是1\~10000。 上传段时，除了指定上传ID，还必须指定段编号。您可以选择1和10000之间的任意段编号。段编号在您正在上传的对象中唯一地标示了段及其位置。如果您使用之前上传的段的同一段编号上传新段，则之前上传的段将被覆盖。无论您何时上传段，OBS都将在其响应中返回ETag标头。对于每个段上传任务，您必须记录每个段编号和ETag值。您在随后的请求中需要添加这些值以完成多段上传。 #### 接口约束 - 您必须是桶拥有者或拥有上传段的权限，才能上传段。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:object:PutObject权限，如果使用桶策略则需授予PutObject权限。相关授权方式介绍可参见[OBS权限控制概述](https://support.huaweicloud.com/perms-cfg-obs/obs_40_0001.html)，配置方式详见[使用IAM自定义策略](https://support.huaweicloud.com/usermanual-obs/obs_03_0121.html)、[配置对象策略](https://support.huaweicloud.com/usermanual-obs/obs_03_0075.html)。 - OBS支持的Region与Endpoint的对应关系，详细信息请参见[地区与终端节点](https://developer.huaweicloud.com/endpoint?OBS)。 - 初始化上传段任务并上传一个或多个段之后，您必须合并段或取消多段上传任务，才能停止收取已上传的段的存储费用。仅当在合并段或取消多段上传任务之后，OBS才释放段存储并停止向您收取段存储费用。 - 段任务中的partNumber是唯一的，重复上传相同partNumber的段，后一次上传会覆盖前一次上传内容。多并发上传同一对象的同一partNumber时，服务端遵循Last Write Win策略，但"Last Write"的时间定义为段元数据创建时间。为了保证数据准确性，客户端需要加锁保证同一对象的同一个段上传的并发性。同一对象的不同段并发上传不需要加锁。 #### 方法定义 ``` ObsClient.uploadPart(bucketName, objectKey, partNumber, uploadId, object, isFile, partSize, offset, sseHeader, isAttachMd5, md5, progressCallback, autoClose, extensionHeaders) ``` #### 请求参数 表1请求参数列表 | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | bucketName | str | 必选 | **参数解释** **：** 桶名。 **约束限制：** - 桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。 - 桶命名规则如下： - 3～63个字符，数字或字母开头，支持小写字母、数字、"-"、"."。 - 禁止使用IP地址。 - 禁止以"-"或"."开头及结尾。 - 禁止两个"."相邻（如："my..bucket"）。 - 禁止"."和"-"相邻（如："my-.bucket"和"my.-bucket"）。 - 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。 **默认取值：** 无 | | objectKey | str | 必选 | **参数解释：** 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。 例如，您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 说明： 对象链接地址格式为：https://*桶名.域名/文件夹目录层级/对象名*。如果该对象存在于桶的根目录下，则链接地址将不需要有文件夹目录层级。 | | partNumber | int | 必选 | **参数解释：** 段号。 **取值范围：** \[1,10000\] **默认取值：** 无 | | uploadId | str | 必选 | **参数解释：** 分段上传任务的ID。任务ID可以通过[初始化分段上传任务](https://support.huaweicloud.com/sdk-python-devg-obs/obs_22_1002.html)生成。例如：000001648453845DBB78F2340DD460D8。 **约束限制：** 长度为32的字符串。 **默认取值：** 无 | | object | str 或 readable object | 必选 | **参数解释：** 待上传段的内容。 **取值范围：** 字符串或者可读对象。 说明： 如果object是可读对象（包含"read"属性），则从中读取数据，否则作为字符串处理。 **默认取值：** 无 | | isFile | bool | 可选 | **参数解释：** 指明object字段是否代表文件路径。 **取值范围：** True：object字段代表文件路径。 False：object字段不代表文件路径。 **默认取值：** False | | offset | int | 可选 | **参数解释：** 源文件中某一分段的起始偏移大小。 **取值范围：** 非负整数，不大于待上传对象的大小，单位：字节。 **默认取值：** 0 | | partSize | int | 可选 | **参数解释：** 当前段的长度。 **约束限制：** - 上传段接口要求除最后一段以外，其他的段大小都要大于100KB。但是上传段接口并不会立即校验上传段的大小（因为不知道是否为最后一段），只有调用合并段接口时才会校验。 - OBS 3.0的桶支持最小段的大小为100KB，OBS 2.0的桶支持最小段的大小为5MB。 **取值范围：** 100KB\~5GB，单位：字节。 **默认取值：** 102400字节 | | sseHeader | [SseCHeader] | 可选 | **参数解释：** 服务端加密头域。详见[SseCHeader]。 **默认取值：** 无 | | isAttachMd5 | bool | 可选 | **参数解释：** 是否自动计算待上传数据的MD5值。 **约束限制：** isAttachMd5和md5同时使用时，忽略isAttachMd5字段。 **取值范围：** True：自动计算上传数据的MD5值。 False：不自动计算上传数据的MD5值。 **默认取值：** False | | md5 | str | 可选 | **参数解释：** 待上传段数据的MD5值（经过Base64编码），是上传段数据内容的唯一标识，可以通过该值识别对象内容是否有变化。 **约束限制：** isAttachMd5和md5同时使用时，忽略isAttachMd5字段。 **取值范围：** 长度为32的字符串。 **默认取值：** 无 | | progressCallback | callable | 可选 | **参数解释：** 获取上传进度的回调函数。 **默认取值：** 无 说明： 该回调函数依次包含三个参数：已上传的字节数、总字节数、已使用的时间（单位：秒）。 | | autoClose | bool | 可选 | **参数解释：** 上传完成后，自动关闭数据流。 **取值范围：** True：自动关闭数据流。 False：不自动关闭数据流。 **默认取值：** True | | extensionHeaders | dict | 可选 | **参数解释：** 接口的拓展头域。 **取值范围：** 参考[自定义头域](https://support.huaweicloud.com/sdk-python-devg-obs/obs_22_1305.html)。 **默认取值：** 无 | 表2SseCHeader | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | encryption | str | 必选 | **参数解释：** 以SSE-C方式加密对象。 **取值范围：** AES256，即高级加密标准（Advanced Encryption Standard，AES）。 **默认取值：** 无 | | key | str | 必选 | **参数解释：** SSE-C方式下加密的密钥，与加密方式对应，如encryption='AES256'，密钥就是由AES256加密算法得到的密钥。 **取值范围：** 长度为32字符串。 **默认取值：** 无 | #### 返回结果 表3返回结果 | **类型** | **说明** | |:---|:---| | [GetResult] | **参数解释：** SDK公共结果对象。 | 表4GetResult | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | status | int | **参数解释：** HTTP状态码。 **取值范围：** 状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见[状态码](https://support.huaweicloud.com/api-obs/obs_04_0114.html)。 **默认取值：** 无 | | reason | str | **参数解释：** HTTP文本描述。 **默认取值：** 无 | | errorCode | str | **参数解释：** OBS服务端错误码，当status参数小于300时为空。 **默认取值：** 无 | | errorMessage | str | **参数解释：** OBS服务端错误描述，当status参数小于300时为空。 **默认取值：** 无 | | requestId | str | **参数解释：** OBS服务端返回的请求ID。 **默认取值：** 无 | | indicator | str | **参数解释：** OBS服务端返回的错误定位码。 **默认取值：** 无 | | hostId | str | **参数解释：** 请求的服务端ID，当status参数小于300时为空。 **默认取值：** 无 | | resource | str | **参数解释：** 发生错误时相关的桶或对象，当status参数小于300时为空。 **默认取值：** 无 | | header | list | **参数解释：** 响应消息头列表，由多个元组构成。每个元组均包含两个元素，代表响应头的键值对。 **默认取值：** 无 | | body | object | **参数解释：** 操作成功后的结果数据，当status大于300时为空。该值根据调用接口的不同而不同，参见"桶相关接口"章节和"对象相关接口"章节的详细描述。 **默认取值：** 无 | 表5GetResult.body | **GetResult.body类型** | **说明** | |:---|:---| | [UploadPartResponse] | **参数解释：** 上传段响应结果。 | 表6UploadPartResponse | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | etag | str | **参数解释：** 段的base64编码的128位MD5摘要。ETag是段内容的唯一标识，可以通过该值识别段内容是否有变化。 **取值范围：** 长度为32的字符串。 **默认取值：** 无 | | sseKms | str | **参数解释：** 表示服务端加密是SSE-KMS方式。对象使用SSE-KMS方式加密。 **取值范围：** 可选值：kms，即选择SSE-KMS方式加密对象。 **默认取值：** 无 | | sseKmsKey | str | **参数解释：** SSE-KMS加密方式下使用的KMS主密钥的ID值。 **取值范围：** 有效值支持两种格式： 1. regionID:domainID(账号ID):key/key_id 2. key_id 其中： - regionID是使用密钥所属region的ID，可在[地区和终端节点](https://developer.huaweicloud.com/endpoint?OBS)页面获取； - domainID是使用密钥所属账号的账号ID，获取方法参见[如何获取账号ID和用户ID?(Python SDK)](https://support.huaweicloud.com/sdk-python-devg-obs/obs_22_1703.html)； - key_id是从数据加密服务创建的密钥ID，获取方法请参见[查看密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0179.html)。 **默认取值：** - 如果用户没有提供该头域，那么默认的主密钥将会被使用。 - 如果默认主密钥不存在，将默认创建并使用。 | | sseC | str | **参数解释：** 使用SSE-C方式加解密对象时，选择的加解密算法。 **取值范围：** 支持的值为AES256，即高级加密标准（Advanced Encryption Standard，AES）。 **默认取值：** 无 | | sseCKeyMd5 | str | **参数解释：** SSE-C方式下加密使用密钥的MD5值，该值用于验证密钥传输过程中是否出错。 **约束限制：** 由密钥值经过MD5加密再经过Base64编码后得到，示例：4XvB3tbNTN+tIEVa0/fGaQ== **默认取值：** 无 | #### 代码样例一：上传本地文件 本示例用于上传段。 ``` import os import traceback from obs import ObsClient # 推荐通过环境变量获取AK/SK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险 # 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html ak = os.getenv("AccessKeyID") sk = os.getenv("SecretAccessKey") # 如需使用临时AK/SK和SecurityToken访问OBS，则同样推荐通过环境变量获取 # security_token = os.getenv("SecurityToken") # server填写Bucket对应的Endpoint，这里以华北-北京四为例，其他地区请按实际情况填写 server = "https://obs.cn-north-4.myhuaweicloud.com" # 创建obsClient实例 # 如果使用临时AK/SK和SecurityToken访问OBS，需要在创建实例时通过security_token参数指定securityToken值 obs_client = ObsClient(access_key_id=ak, secret_access_key=sk, server=server) try: bucket_name = "examplebucket" # 上传到obs桶里的对象名称 object_key = "objectname" # 段号，取值范围：1~10000 part_number = "your part_number" # 分段上传任务的ID upload_id = "your uploadid" # 待上传段的内容str或readable object object = 'Hello OBS' # 指明object字段是否代表文件路径，默认为False is_file = False # 源文件中某一分段的起始偏移大小，默认值为0， 单位为字节 offset = 0 # 源文件中某一分段的大小，默认值为文件大小减去offset的剩下字节数，单位为字节 part_size = 9 * 1024 * 1024 # 是否自动计算待上传数据的MD5值，默认为False is_attach_md5 = True # 通过分段上传任务的ID，上传段到指定桶中 resp = obs_client.uploadPart(bucket_name, object_key, part_number, upload_id, object, is_file, part_size, offset, isAttachMd5=is_attach_md5) # 返回码为2xx时，接口调用成功，否则接口调用失败 if resp.status < 300: print('Upload Part Succeeded') print('requestId:', resp.requestId) print('etag:', resp.body.etag) else: print('Upload Part Failed') print('requestId:', resp.requestId) print('errorCode:', resp.errorCode) print('errorMessage:', resp.errorMessage) except Exception: print('Upload Part Failed') print(traceback.format_exc()) ``` #### 代码样例二：上传网络流 本示例用于使用网络流上传段。 ``` import os import sys import traceback from obs import ObsClient if sys.version_info.major == 2 or not sys.version > '3': import httplib else: import http.client as httplib # 推荐通过环境变量获取AK/SK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险 # 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html ak = os.getenv("AccessKeyID") sk = os.getenv("SecretAccessKey") # 如需使用临时AK/SK和SecurityToken访问OBS，则同样推荐通过环境变量获取 # security_token = os.getenv("SecurityToken") # server填写Bucket对应的Endpoint，这里以华北-北京四为例，其他地区请按实际情况填写 server = "https://obs.cn-north-4.myhuaweicloud.com" # 创建obsClient实例 # 如果使用临时AK/SK和SecurityToken访问OBS，需要在创建实例时通过security_token参数指定securityToken值 obs_client = ObsClient(access_key_id=ak, secret_access_key=sk, server=server) try: bucket_name = "examplebucket" # 上传到obs桶里的对象名称 object_key = "objectname" # 段号，取值范围：1~10000 part_number = "your part_number" # 分段上传任务的ID upload_id = "your uploadid" # 设置网络流 conn = httplib.HTTPConnection('www.a.com', 80) # 获取网络流 conn.request('GET', '/') # 待上传段的内容str或readable object object = conn.getresponse() # 通过分段上传任务的ID，上传段到指定桶中 resp = obs_client.uploadPart(bucket_name, object_key, part_number, upload_id, object) # 返回码为2xx时，接口调用成功，否则接口调用失败 if resp.status < 300: print('Upload Part Succeeded') print('requestId:', resp.requestId) print('etag:', resp.body.etag) else: print('Upload Part Failed') print('requestId:', resp.requestId) print('errorCode:', resp.errorCode) print('errorMessage:', resp.errorMessage) except Exception: print('Upload Part Failed') print(traceback.format_exc()) ``` #### 相关链接 - 关于分段上传-上传段的API说明，请参见[上传段](https://support.huaweicloud.com/api-obs/obs_04_0099.html)。 - 更多关于分段上传的示例代码，请参见[Github示例](https://github.com/huaweicloud/huaweicloud-sdk-python-obs/blob/master/examples/object_operations_sample.py)。 - 分段上传过程中返回的错误码含义、问题原因及处理措施可参考[OBS错误码](https://support.huaweicloud.com/api-obs/obs_04_0115.html#section1)。