分段上传-上传段(Go SDK)
功能说明
初始化分段上传任务后,通过分段上传任务的ID,上传段到指定桶中。除了最后一段以外,其他段的大小范围是100KB~5GB;最后一段的大小范围是0~5GB。上传的段的编号也有范围限制,其范围是1~10000。
上传段时,除了指定上传ID,还必须指定段编号。您可以选择1和10000之间的任意段编号。段编号在您正在上传的对象中唯一地标示了段及其位置。如果您使用之前上传的段的同一段编号上传新段,则之前上传的段将被覆盖。无论您何时上传段,OBS都将在其响应中返回ETag标头。对于每个段上传任务,您必须记录每个段编号和ETag值。您在随后的请求中需要添加这些值以完成多段上传。
接口约束
- 您必须是桶拥有者或拥有上传段的权限,才能上传段。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:PutObject权限,如果使用桶策略则需授予PutObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。
- OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。
- 初始化上传段任务并上传一个或多个段之后,您必须合并段或取消多段上传任务,才能停止收取已上传的段的存储费用。仅当在合并段或取消多段上传任务之后,OBS才释放段存储并停止向您收取段存储费用。
- 段任务中的partNumber是唯一的,重复上传相同partNumber的段,后一次上传会覆盖前一次上传内容。多并发上传同一对象的同一partNumber时,服务端遵循Last Write Win策略,但“Last Write”的时间定义为段元数据创建时间。为了保证数据准确性,客户端需要加锁保证同一对象的同一个段上传的并发性。同一对象的不同段并发上传不需要加锁。
方法定义
func (obsClient ObsClient) UploadPart(input *UploadPartInput) (output *UploadPartOutput, err error)
请求参数说明
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
input |
必选 |
参数解释: 上传段请求参数。详情参见UploadPartInput。 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
Bucket |
string |
必选 |
参数解释: 桶名。 约束限制:
默认取值: 无 |
Key |
string |
必选 |
参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.ap-southeast-1.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
PartNumber |
int |
必选 |
参数解释: 段号。 取值范围: 取值范围是[1,10000]的非负整数。 默认取值: 无 |
UploadId |
string |
必选 |
参数解释: 分段上传任务的ID。任务ID可以通过初始化分段上传任务生成。 约束限制: 取值范围: 长度为32的字符串,例如: 000001648453845DBB78F2340DD460D8。 默认取值: 无 |
ContentMD5 |
string |
可选 |
参数解释: 待上传对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。 取值范围: 按照RFC 1864标准计算出消息体的MD5摘要字符串,即消息体128-bit MD5值经过base64编码后得到的字符串。 示例:n58IG6hfM7vqI4K0vnWpog==。 默认取值: 无 |
SseHeader |
可选 |
参数解释: 服务端加密头信息,选择SSE-C加密方式,则详见SseCHeader。 |
|
Body |
io.Reader |
可选 |
参数解释: 待上传对象的数据流。 取值范围: 0~48.8TB,单位:字节。 默认取值: 无 |
SourceFile |
string |
可选 |
参数解释: 待上传对象的源文件路径。 默认取值: 无 |
Offset |
int64 |
可选 |
参数解释: 源文件中某一分段的起始偏移大小。 取值范围: 非负整数,小于待上传对象的大小,单位:字节。 默认取值: 0 |
PartSize |
int64 |
可选 |
参数解释: 当前段的长度。 取值范围: 100KB~5GB,单位:字节。 默认取值: 102400字节 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
Encryption |
string |
作为请求参数时必选 |
参数解释: 表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。 取值范围: 可选值:AES256,即选择SSE-C方式加密对象。 默认取值: 无 |
Key |
string |
作为请求参数时必选 |
参数解释: SSE-C方式下加密使用的密钥,该密钥用于加密对象。 约束限制: 该头域由256bit的密钥经过Base64编码得到,示例:K7QkYpBkM5+hca27fsNkUnNVaobncnLht/rCB2o/9Cw= 默认取值: 无 |
KeyMD5 |
string |
作为请求参数时可选 |
参数解释: SSE-C方式下加密使用密钥的MD5值,该值用于验证密钥传输过程中是否出错。 约束限制: 由密钥值经过MD5加密再经过Base64编码后得到,示例:4XvB3tbNTN+tIEVa0/fGaQ== 默认取值: 无 |
返回结果说明
参数名称 |
参数类型 |
描述 |
---|---|---|
output |
参数解释: 接口返回信息。详情参见UploadPartOutput。 |
|
err |
error |
参数解释: 接口返回错误信息。 |
参数名称 |
参数类型 |
描述 |
---|---|---|
StatusCode |
int |
参数解释: HTTP状态码。 取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 默认取值: 无 |
RequestId |
string |
参数解释: OBS服务端返回的请求ID。 默认取值: 无 |
ResponseHeaders |
map[string][]string |
参数解释: HTTP响应头信息。 默认取值: 无 |
PartNumber |
int |
参数解释: 段号。 取值范围: 取值范围是[1,10000]的非负整数。 默认取值: 无 |
ETag |
string |
参数解释: 对象的base64编码的128位MD5摘要。ETag是对象内容的唯一标识,可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A,下载对象时ETag为B,则说明对象内容发生了变化。ETag只反映变化的内容,而不是其元数据。上传的对象或拷贝操作创建的对象,都有唯一的ETag。 约束限制: 当对象是服务端加密的对象时,ETag值不是对象的MD5值。 取值范围: 长度为32的字符串。 默认取值: 无 |
SseHeader |
或 |
参数解释: 服务端加密头信息,选择SSE-C加密方式,则详见SseCHeader,选择SSE-KMS加密方式,则详见SseKmsHeader。 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
Encryption |
string |
作为请求参数时必选 |
参数解释: 表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。 取值范围: 可选值:AES256,即选择SSE-C方式加密对象。 默认取值: 无 |
Key |
string |
作为请求参数时必选 |
参数解释: SSE-C方式下加密使用的密钥,该密钥用于加密对象。 约束限制: 该头域由256bit的密钥经过Base64编码得到,示例:K7QkYpBkM5+hca27fsNkUnNVaobncnLht/rCB2o/9Cw= 默认取值: 无 |
KeyMD5 |
string |
作为请求参数时可选 |
参数解释: SSE-C方式下加密使用密钥的MD5值,该值用于验证密钥传输过程中是否出错。 约束限制: 由密钥值经过MD5加密再经过Base64编码后得到,示例:4XvB3tbNTN+tIEVa0/fGaQ== 默认取值: 无 |
参数名称 |
参数类型 |
是否必选 |
描述 |
---|---|---|---|
Encryption |
string |
作为请求参数时必选 |
参数解释: 表示服务端加密是SSE-KMS方式。对象使用SSE-KMS方式加密。 取值范围: 可选值:kms,即选择SSE-KMS方式加密对象。 默认取值: 无 |
Key |
string |
作为请求参数时可选 |
参数解释: SSE-KMS加密方式下使用的KMS主密钥的ID值。 取值范围: 有效值支持两种格式:
其中:
默认取值:
|
代码样例
本示例用于通过指定多段上传任务号(uploadId),上传段到examplebucket桶中,并且指定对象名为example/objectname。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 |
package main import ( "fmt" "os" "strings" obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs" ) func main() { //推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险。 //您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/intl/zh-cn/usermanual-ca/ca_01_0003.html。 ak := os.Getenv("AccessKeyID") sk := os.Getenv("SecretAccessKey") // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。 // securityToken := os.Getenv("SecurityToken") // endpoint填写Bucket对应的Endpoint, 这里以中国-香港为例,其他地区请按实际情况填写。 endPoint := "https://obs.ap-southeast-1.myhuaweicloud.com" // 创建obsClient实例 // 如果使用临时AKSK和SecurityToken访问OBS,需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。 obsClient, err := obs.New(ak, sk, endPoint/*, obs.WithSecurityToken(securityToken)*/) if err != nil { fmt.Printf("Create obsClient error, errMsg: %s", err.Error()) } input := &obs.UploadPartInput{} // 指定存储桶名称 input.Bucket = "examplebucket" // 指定对象名,此处以 example/objectname 为例。 input.Key = "example/objectname" // 指定多段上传任务号,此处以00000188677110424014075CC4A77xxx为例。 input.UploadId = "00000188677110424014075CC4A77xxx" // 指定上传段的段号,取值为从1到10000的整数。这次以1为例。 input.PartNumber = 1 // 指定待上传段的源文件路径,这里以localfile为例。 input.SourceFile = "localfile" // 上传段 output, err := obsClient.UploadPart(input) if err == nil { fmt.Printf("Upload part(%d) successful with bucket(%s) and object(%s)!!\n", input.PartNumber, input.Bucket, input.Key) fmt.Printf("ETag:%s\n", output.ETag) return } fmt.Printf("Upload part(%d) fail with bucket(%s) and object(%s)!!\n", input.PartNumber, input.Bucket, input.Key) if obsError, ok := err.(obs.ObsError); ok { fmt.Println("An ObsError was found, which means your request sent to OBS was rejected with an error response.") fmt.Println(obsError.Error()) } else { fmt.Println("An Exception was found, which means the client encountered an internal problem when attempting to communicate with OBS, for example, the client was unable to access the network.") fmt.Println(err) } } |