更新时间:2024-10-23 GMT+08:00
分享

分段上传-复制段(Go SDK)

功能说明

初始化分段上传任务后,通过分段上传任务的ID,复制段到指定桶中。

多段上传任务创建后,用户可以通过指定多段上传任务号,为特定的任务上传段。添加段的方式还包括调用段拷贝接口。允许用户将已上传对象的一部分或全部拷贝为段。

将源对象object拷贝为一个段part1,如果在拷贝操作之前part1已经存在,拷贝操作执行之后,旧的段数据part1会被新拷贝的段数据覆盖。拷贝成功后,只能列举到最新的段part1,旧的段数据将会被删除。因此在使用拷贝段接口时请确保目标段不存在或者已无价值,避免因拷贝段导致数据误删除。拷贝过程中源对象object无任何变化。

接口约束

  • 您必须是桶拥有者或拥有复制段的权限,才能复制段。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:PutObject权限,如果使用桶策略则需授予PutObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略配置对象策略
  • OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点
  • 拷贝段的结果不能仅根据HTTP返回头域中的status_code来判断请求是否成功,头域中status_code返回200时表示服务端已经收到请求,且开始处理拷贝段请求。拷贝是否成功会在响应消息的body中,只有body体中有ETag标签才表示成功,否则表示拷贝失败。

方法定义

func (obsClient ObsClient) CopyPart(input *CopyPartInput, extensions...extensionOptions) (output *CopyPartOutput, err error)

请求参数说明

表1 请求参数列表

参数名称

参数类型

是否必选

描述

input

*CopyPartInput

必选

参数解释:

复制段请求参数。详情参见CopyPartInput

extensions

extensionOptions

可选

参数解释:

拓展配置项。通过调用拓展配置项为对应请求配置额外的拓展请求头,详情参考extensionOptions

表2 CopyPartInput

参数名称

参数类型

是否必选

描述

Bucket

string

必选

参数解释

目标桶名。

约束限制:

  • 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。
  • 桶命名规则如下:
    • 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻(如:“my..bucket”)。
    • 禁止“.”和“-”相邻(如:“my-.bucket”和“my.-bucket”)。
  • 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。

默认取值:

Key

string

必选

参数解释:

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。

例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

PartNumber

int

必选

参数解释:

段号。

取值范围:

取值范围是[1,10000]的非负整数。

默认取值:

UploadId

string

必选

参数解释:

分段上传任务的ID,例如:000001648453845DBB78F2340DD460D8

取值范围:

长度为32的字符串。

默认取值:

CopySourceBucket

string

必选

参数解释:

源桶名。

约束限制:

  • 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。
  • 桶命名规则如下:
    • 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻(如:“my..bucket”)。
    • 禁止“.”和“-”相邻(如:“my-.bucket”和“my.-bucket”)。
  • 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。

默认取值:

CopySourceKey

string

必选

参数解释:

源对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。

例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

CopySourceRangeStart

int64

可选

参数解释:

指定复制源对象的起始位置。

取值范围:

非负整数,单位为字节。

默认取值:

0

CopySourceRangeEnd

int64

可选

参数解释:

指定复制源对象的结束位置。

约束限制:

取值必须大于RangeStart,如果该值大于对象长度-1,实际仍取对象长度-1,单位为字节。

取值范围:

非负整数,单位为字节。

默认取值:

SseHeader

SseCHeader

可选

参数解释:

服务端加密头信息,用于加密目标对象。详情参见SseCHeader

约束限制:

如果客户端的对象上传时,使用了用户提供的加密密钥进行服务端加密,当下载对象时,同样也必须在消息中提供密钥。

SourceSseHeader

SseCHeader

可选

参数解释:

服务端加密头信息,用于解密源对象。详情参见SseCHeader

表3 SseCHeader

参数名称

参数类型

是否必选

描述

Encryption

string

作为请求参数时必选

参数解释:

表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。

取值范围:

可选值:AES256,即选择SSE-C方式加密对象。

默认取值:

Key

string

作为请求参数时必选

参数解释:

SSE-C方式下加密使用的密钥,该密钥用于加密对象。

约束限制:

该头域由256bit的密钥经过Base64编码得到,示例:K7QkYpBkM5+hca27fsNkUnNVaobncnLht/rCB2o/9Cw=

默认取值:

KeyMD5

string

作为请求参数时可选

参数解释:

SSE-C方式下加密使用密钥的MD5值,该值用于验证密钥传输过程中是否出错。

约束限制:

由密钥值经过MD5加密再经过Base64编码后得到,示例:4XvB3tbNTN+tIEVa0/fGaQ==

默认取值:

返回结果说明

表4 返回结果

参数名称

参数类型

描述

output

*CopyPartOutput

type CopyPartOutput struct

参数解释:

接口返回信息。详情参见CopyPartOutput

err

error

参数解释:

接口返回错误信息。

表5 CopyPartOutput

参数名称

参数类型

描述

StatusCode

int

参数解释:

HTTP状态码。

取值范围:

状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码

默认取值:

RequestId

string

参数解释:

OBS服务端返回的请求ID。

默认取值:

ResponseHeaders

map[string][]string

参数解释:

HTTP响应头信息。

默认取值:

ETag

string

参数解释:

对象的base64编码的128位MD5摘要。ETag是对象内容的唯一标识,可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A,下载对象时ETag为B,则说明对象内容发生了变化。ETag只反映变化的内容,而不是其元数据。上传的对象或拷贝操作创建的对象,都有唯一的ETag。

约束限制:

当对象是服务端加密的对象时,ETag值不是对象的MD5值。

取值范围:

长度为32的字符串。

默认取值:

LastModified

time.Time

参数解释:

目标段的最近一次修改时间(UTC时间)。

约束限制:

日期格式必须为ISO8601的格式。 例如:2018-01-01T00:00:00.000Z,表示最后一次修改时间为2018-01-01T00:00:00.000Z。

代码示例:time.Now().Add(time.Duration(24) * time.Hour)

默认取值:

SseHeader

SseCHeader

type SseCHeader struct

SseKmsHeader

type SseKmsHeader struct

参数解释:

服务端加密头信息。SSE-C加密方式详情参见SseCHeader,SSE-KMS加密方式详情参见SseKmsHeader

PartNumber

int

参数解释:

段号。

取值范围:

取值范围是[1,10000]的非负整数。

默认取值:

表6 SseCHeader

参数名称

参数类型

是否必选

描述

Encryption

string

作为请求参数时必选

参数解释:

表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。

取值范围:

可选值:AES256,即选择SSE-C方式加密对象。

默认取值:

Key

string

作为请求参数时必选

参数解释:

SSE-C方式下加密使用的密钥,该密钥用于加密对象。

约束限制:

该头域由256bit的密钥经过Base64编码得到,示例:K7QkYpBkM5+hca27fsNkUnNVaobncnLht/rCB2o/9Cw=

默认取值:

KeyMD5

string

作为请求参数时可选

参数解释:

SSE-C方式下加密使用密钥的MD5值,该值用于验证密钥传输过程中是否出错。

约束限制:

由密钥值经过MD5加密再经过Base64编码后得到,示例:4XvB3tbNTN+tIEVa0/fGaQ==

默认取值:

表7 SseKmsHeader

参数名称

参数类型

是否必选

描述

Encryption

string

作为请求参数时必选

参数解释:

表示服务端加密是SSE-KMS方式。对象使用SSE-KMS方式加密。

取值范围:

可选值:kms,即选择SSE-KMS方式加密对象。

默认取值:

Key

string

作为请求参数时可选

参数解释:

SSE-KMS加密方式下使用的KMS主密钥的ID值。

取值范围:

有效值支持两种格式:

  1. regionID:domainID(账号ID):key/key_id
  2. key_id

其中:

默认取值:

  • 如果用户没有提供该头域,那么默认的主密钥将会被使用。
  • 如果默认主密钥不存在,将默认创建并使用。

代码样例

本示例用于复制源桶(sourcebucketname)下对象(example/sourceobjectname)的段到目标桶(examplebucket)的对象(example/objectname)。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
package main
import (
    "fmt"
    "os"
    obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs"
)
func main() {
    //推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险。
    //您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html。
    ak := os.Getenv("AccessKeyID")
    sk := os.Getenv("SecretAccessKey")
    // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。
    // securityToken := os.Getenv("SecurityToken")
   // endpoint填写Bucket对应的Endpoint, 这里以华北-北京四为例,其他地区请按实际情况填写。
    endPoint := "https://obs.cn-north-4.myhuaweicloud.com"
    // 创建obsClient实例
    // 如果使用临时AKSK和SecurityToken访问OBS,需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。
    obsClient, err := obs.New(ak, sk, endPoint/*, obs.WithSecurityToken(securityToken)*/)
    if err != nil {
        fmt.Printf("Create obsClient error, errMsg: %s", err.Error())
    }
    input := &obs.CopyPartInput{}
    // 指定存储桶名称
    input.Bucket = "examplebucket"
    // 指定对象,此处以 example/objectname 为例。
    input.Key = "example/objectname"
    // 指定复制源桶名,此处以sourcebucketname为例。
    input.CopySourceBucket = "sourcebucketname"
    // 指定复制源桶名下的指定源对象名,此处以example/sourceobjectname为例。
    input.CopySourceKey = "example/sourceobjectname"
    // 指定上传段的段号,此处以1为例。
    input.PartNumber = 1
    // 复制段
    output, err := obsClient.CopyPart(input)
    if err == nil {
        fmt.Printf("Copy part(bucket:%s, object: %s) successful from bucket:%s's object: %s!\n", 
             input.Bucket, input.Key, input.CopySourceBucket, input.CopySourceKey)
        fmt.Printf("ETag:%s, LastModified:%s\n", output.ETag, output.LastModified)
        return
    }
    fmt.Printf("Copy part(bucket:%s, object: %s) fail from bucket:%s's object: %s!\n", 
             input.Bucket, input.Key, input.CopySourceBucket, input.CopySourceKey)
    if obsError, ok := err.(obs.ObsError); ok {
        fmt.Println("An ObsError was found, which means your request sent to OBS was rejected with an error response.")
        fmt.Println(obsError.Error())
    } else {
        fmt.Println("An Exception was found, which means the client encountered an internal problem when attempting to communicate with OBS, for example, the client was unable to access the network.")
        fmt.Println(err)
    }
}

相关链接

  • 关于分段上传-复制段的API说明,请参见拷贝段
  • 更多关于分段上传的示例代码,请参见Github示例
  • 分段上传过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码

相关文档