文档首页/ 对象存储服务 OBS/ SDK参考/ Go/ 多段相关接口(Go SDK)/ 分段上传-初始化分段上传任务(Go SDK)
更新时间:2024-09-18 GMT+08:00
分享

分段上传-初始化分段上传任务(Go SDK)

功能说明

使用多段上传特性时,用户必须首先调用创建多段上传任务接口创建任务,系统会给用户返回一个全局唯一的多段上传任务号,作为任务标识。后续用户可以根据这个标识发起相关的请求,如:上传段、合并段、列举段等。创建多段上传任务不影响已有的同名对象;同一个对象可以同时存在多个多段上传任务;每个多段上传任务在初始化时可以附加消息头信息,包括acl、用户自定义元数据和通用的HTTP消息头contentType、contentEncoding等,这些附加的消息头信息将先记录在多段上传任务元数据中。

在指定桶中初始化分段上传任务。

接口约束

  • 您必须是桶拥有者或拥有初始化分段上传任务的权限,才能初始化分段上传任务。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:PutObject权限,如果使用桶策略则需授予PutObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略配置对象策略
  • OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点
  • 初始化上传段任务并上传一个或多个段之后,您必须合并段或取消多段上传任务,才能停止收取已上传的段的存储费用。仅当在合并段或取消多段上传任务之后,OBS才释放段存储并停止向您收取段存储费用。

方法定义

func (obsClient ObsClient) InitiateMultipartUpload(input *InitiateMultipartUploadInput, extensions...extensionOptions) (output *InitiateMultipartUploadOutput, err error)

请求参数说明

表1 请求参数列表

参数名称

参数类型

是否必选

描述

input

*InitiateMultipartUploadInput

必选

参数解释:

初始化分段上传任务请求参数。详见InitiateMultipartUploadInput

extensions

extensionOptions

可选

参数解释:

桶相关扩展信息。通过调用拓展配置项为对应请求配置额外的拓展请求头,详见extensionOptions

表2 InitiateMultipartUploadInput

参数名称

参数类型

是否必选

描述

Bucket

string

必选

参数解释

桶名。

约束限制:

  • 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。
  • 桶命名规则如下:
    • 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻(如:“my..bucket”)。
    • 禁止“.”和“-”相邻(如:“my-.bucket”和“my.-bucket”)。
  • 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。

默认取值:

Key

string

必选

参数解释:

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。

例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

ACL

AclType

可选

参数解释

创桶时可指定的预定义访问策略,有关访问控制列表(Access Control List,ACL)功能的详细信息可参见ACL功能介绍

取值范围:

可选择的访问策略选项参见AclType

默认取值:

私有权限

WebsiteRedirectLocation

string

可选

参数解释:

当桶设置了Website配置,可以将获取这个对象的请求重定向到桶内另一个对象或一个外部的URL。

例如,重定向请求到桶内另一对象:

WebsiteRedirectLocation:/anotherPage.html

或重定向请求到一个外部URL:

WebsiteRedirectLocation:http://www.example.com/

OBS将这个值从头域中取出,保存在对象的元数据“WebsiteRedirectLocation”中。

约束限制:

  • 必须以“/”、“http://”或“https://”开头,长度不超过2KB。
  • OBS仅支持为桶根目录下的对象设置重定向,不支持为桶中文件夹下的对象设置重定向。

默认取值:

ContentType

string

可选

参数解释:

待上传对象的文件类型(MIME类型)。Content-Type(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式。

取值范围:

常见的Content-Type(MIME)列表参见如何理解Content-Type(MIME)?

默认取值:

如果您在上传Object时未指定Content-Type,SDK会根据指定Object名称的后缀名来判定文件类型并自动填充Content-Type。

SseHeader

SseCHeader

SseKmsHeader

可选

参数解释:

服务端加密头信息,选择SSE-C加密方式,则详见SseCHeader,选择SSE-KMS加密方式,则详见SseKmsHeader

StorageClass

StorageClassType

可选

参数解释

对象的存储类型。如果未设置,则为桶的存储类型。

取值范围:

可选择的访问策略选项参见StorageClassType

默认取值:

标准存储类型

Metadata

map[string]string

可选

参数解释:

待上传对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。

约束限制:

  • 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8 编码中的字节总数。
  • 自定义元数据的key值不区分大小写,OBS统一转为小写进行存储。value值区分大小写。
  • 自定义元数据key-value对都必须符合US-ASCII。如果一定要使用非ASCII码或不可识别字符,需要客户端自行做编解码处理,可以采用URL编码或者Base64编码,服务端不会做解码处理。例如x-obs-meta-中文:中文 经URL编码后发送,“中文”的URL编码为:%E4%B8%AD%E6%96%87,则响应为x-obs-meta-%E4%B8%AD%E6%96%87: %E4%B8%AD%E6%96%87

默认取值:

GrantReadId

string

可选

参数解释:

被授予READ权限的账号的账号ID,即domain_id。账号被授予READ权限后,针对当前对象,允许被授权指定账号有读对象和获取对象元数据的权限。

取值范围:

获取账号ID的方法请参见如何获取账号ID和用户ID?

默认取值:

GrantReadAcpId

string

可选

参数解释:

被授予READ_ACP权限的账号的账号ID,即domain_id。账号被授予READ_ACP权限后,针对当前对象,允许读取对象的ACL。

取值范围:

获取账号ID的方法请参见如何获取账号ID和用户ID?

默认取值:

GrantWriteAcpId

string

可选

参数解释

被授予WRITE_ACP权限的账号的账号ID,即domain_id。账号被授予WRITE_ACP权限后,针对当前对象,允许修改对象的ACL信息。

取值范围:

如何获取账号ID请参见如何获取账号ID和用户ID?

默认取值:

GrantFullControlId

string

可选

参数解释

被授予FULL_CONTROL权限的账号的账号ID,即domain_id。账号被授予FULL_CONTROL权限后,针对当前对象,允许进行任何操作,读对象、获取对象元数据、获取对象ACL、写对象ACL。

取值范围:

如何获取账号ID请参见如何获取账号ID和用户ID?

默认取值:

Expires

int64

可选

参数解释:

表示对象的过期时间(从对象最后修改时间开始计算),过期之后对象会被自动删除。

约束限制:

此字段对于每个对象仅支持上传时配置,不支持后期通过修改元数据接口修改。

取值范围:

1~(263-1),单位:天。

默认取值:

EncodingType

string

可选

参数解释:

用于指定对响应中的Key进行指定类型的编码。如果Key包含xml 1.0标准不支持的控制字符,可通过设置该参数对响应中的Key进行编码。

取值范围:

可选值为url。

默认取值:

无,不设置则不编码。

表3 AclType

常量名

原始值

说明

AclPrivate

private

私有读写。

桶或对象的所有者拥有完全控制的权限,其他任何人都没有访问权限。

AclPublicRead

public-read

公共读私有写。

设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。

设在对象上,所有人可以获取该对象内容和元数据。

AclPublicReadWrite

public-read-write

公共读写。

设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本、上传对象、删除对象、初始化段任务、上传段、合并段、拷贝段、取消多段上传任务。

设在对象上,所有人可以获取该对象内容和元数据。

AclPublicReadDelivered

public-read-delivered

桶公共读,桶内对象公共读。

设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本,可以获取该桶内对象的内容和元数据。

说明:

AclPublicReadDelivered不能应用于对象。

AclPublicReadWriteDelivered

public-read-write-delivered

桶公共读写,桶内对象公共读写。

设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本、上传对象、删除对象、初始化段任务、上传段、合并段、拷贝段、取消多段上传任务,可以获取该桶内对象的内容和元数据。

说明:

AclPublicReadWriteDelivered不能应用于对象。

AclBucketOwnerFullControl

bucket-owner-full-control

设在对象上,桶和对象的所有者拥有对象的完全控制权限,其他任何人都没有访问权限。

默认情况下,上传对象至其他用户的桶中,桶拥有者没有对象的控制权限。对象拥有者为桶拥有者添加此权限控制策略后,桶所有者可以完全控制对象。例如,用户A上传对象x至用户B的桶中,系统默认用户B没有对象x的控制权。当用户A为对象x设置bucket-owner-full-control策略后,用户B就拥有了对象x的控制权。

表4 SseCHeader

参数名称

参数类型

是否必选

描述

Encryption

string

作为请求参数时必选

参数解释:

表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。

取值范围:

可选值:AES256,即选择SSE-C方式加密对象。

默认取值:

Key

string

作为请求参数时必选

参数解释:

SSE-C方式下加密使用的密钥,该密钥用于加密对象。

约束限制:

该头域由256bit的密钥经过Base64编码得到,示例:K7QkYpBkM5+hca27fsNkUnNVaobncnLht/rCB2o/9Cw=

默认取值:

KeyMD5

string

作为请求参数时可选

参数解释:

SSE-C方式下加密使用密钥的MD5值,该值用于验证密钥传输过程中是否出错。

约束限制:

由密钥值经过MD5加密再经过Base64编码后得到,示例:4XvB3tbNTN+tIEVa0/fGaQ==

默认取值:

表5 SseKmsHeader

参数名称

参数类型

是否必选

描述

Encryption

string

作为请求参数时必选

参数解释:

表示服务端加密是SSE-KMS方式。对象使用SSE-KMS方式加密。

取值范围:

可选值:kms,即选择SSE-KMS方式加密对象。

默认取值:

Key

string

作为请求参数时可选

参数解释:

SSE-KMS加密方式下使用的KMS主密钥的ID值。

取值范围:

有效值支持两种格式:

  1. regionID:domainID(账号ID):key/key_id
  2. key_id

其中:

默认取值:

  • 如果用户没有提供该头域,那么默认的主密钥将会被使用。
  • 如果默认主密钥不存在,将默认创建并使用。
表6 StorageClassType

常量名

原始值

说明

StorageClassStandard

STANDARD

标准存储。

标准存储拥有低访问时延和较高的吞吐量,适用于有大量热点对象(平均一个月多次)或小对象(<1MB),且需要频繁访问数据的业务场景。

StorageClassWarm

WARM

低频访问存储。

低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。

StorageClassCold

COLD

归档存储。

归档存储适用于很少访问(平均一年访问一次)数据的业务场景。

StorageClassDeepArchive

DEEP_ARCHIVE

深度归档存储(受限公测)

适用于长期不访问(平均几年访问一次)数据的业务场景。

返回结果说明

表7 返回结果

参数名称

参数类型

描述

output

*InitiateMultipartUploadOutput

参数解释:

接口返回信息。详情参见InitiateMultipartUploadOutput

err

error

参数解释:

接口返回错误信息。

表8 InitiateMultipartUploadOutput

参数名称

参数类型

描述

StatusCode

int

参数解释:

HTTP状态码。

取值范围:

状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码

默认取值:

RequestId

string

参数解释:

OBS服务端返回的请求ID。

默认取值:

ResponseHeaders

map[string][]string

参数解释:

HTTP响应头信息。

默认取值:

Bucket

string

参数解释

分段上传任务的桶名。

约束限制:

  • 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。
  • 桶命名规则如下:
    • 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻(如:“my..bucket”)。
    • 禁止“.”和“-”相邻(如:“my-.bucket”和“my.-bucket”)。
  • 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。

默认取值:

Key

string

参数解释:

分段上传任务的对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。

例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

UploadId

string

参数解释:

分段上传任务的ID,例如:000001648453845DBB78F2340DD460D8

取值范围:

长度大于0且不超过32的字符串。

默认取值:

SseHeader

SseCHeader

SseKmsHeader

参数解释:

服务端加密头信息。SSE-C加密方式详情参见SseCHeader,SSE-KMS加密方式详情参见SseKmsHeader

EncodingType

string

参数解释:

用于指定对响应中的Key进行指定类型的编码。如果Key包含xml 1.0标准不支持的控制字符,可通过设置该参数对响应中的Key进行编码。

取值范围:

可选值为url。

默认取值:

无,不设置则不编码。

表9 SseCHeader

参数名称

参数类型

是否必选

描述

Encryption

string

作为请求参数时必选

参数解释:

表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。

取值范围:

可选值:AES256,即选择SSE-C方式加密对象。

默认取值:

Key

string

作为请求参数时必选

参数解释:

SSE-C方式下加密使用的密钥,该密钥用于加密对象。

约束限制:

该头域由256bit的密钥经过Base64编码得到,示例:K7QkYpBkM5+hca27fsNkUnNVaobncnLht/rCB2o/9Cw=

默认取值:

KeyMD5

string

作为请求参数时可选

参数解释:

SSE-C方式下加密使用密钥的MD5值,该值用于验证密钥传输过程中是否出错。

约束限制:

由密钥值经过MD5加密再经过Base64编码后得到,示例:4XvB3tbNTN+tIEVa0/fGaQ==

默认取值:

表10 SseKmsHeader

参数名称

参数类型

是否必选

描述

Encryption

string

作为请求参数时必选

参数解释:

表示服务端加密是SSE-KMS方式。对象使用SSE-KMS方式加密。

取值范围:

可选值:kms,即选择SSE-KMS方式加密对象。

默认取值:

Key

string

作为请求参数时可选

参数解释:

SSE-KMS加密方式下使用的KMS主密钥的ID值。

取值范围:

有效值支持两种格式:

  1. regionID:domainID(账号ID):key/key_id
  2. key_id

其中:

默认取值:

  • 如果用户没有提供该头域,那么默认的主密钥将会被使用。
  • 如果默认主密钥不存在,将默认创建并使用。

代码示例

本示例用于初始化examplebucket桶下的上传任务,并且指定上传对象名为example/objectname。
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
package main
import (
    "fmt"
    "os"
    obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs"
)
func main() {
    //推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险。
    //您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html。
    ak := os.Getenv("AccessKeyID")
    sk := os.Getenv("SecretAccessKey")
    // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。
    // securityToken := os.Getenv("SecurityToken")
   // endpoint填写Bucket对应的Endpoint, 这里以华北-北京四为例,其他地区请按实际情况填写。
    endPoint := "https://obs.cn-north-4.myhuaweicloud.com"
    // 创建obsClient实例
    // 如果使用临时AKSK和SecurityToken访问OBS,需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。
    obsClient, err := obs.New(ak, sk, endPoint/*, obs.WithSecurityToken(securityToken)*/)
    if err != nil {
        fmt.Printf("Create obsClient error, errMsg: %s", err.Error())
    }
    input := &obs.InitiateMultipartUploadInput{}
    // 指定存储桶名称
    input.Bucket = "examplebucket"
    // 指定对象名,此处以 example/objectname 为例。
    input.Key = "example/objectname"
    // 初始化上传段任务
    output, err := obsClient.InitiateMultipartUpload(input)
    if err == nil {
        fmt.Printf("Initiate multipart upload successful with bucket(%s) and object(%s)!\n", input.Bucket, input.Key)
        fmt.Printf("UploadId:%s\n", output.UploadId)
        return
    }
    fmt.Printf("Initiate multipart upload fail with bucket(%s) and object(%s)!\n", input.Bucket, input.Key)
    if obsError, ok := err.(obs.ObsError); ok {
        fmt.Println("An ObsError was found, which means your request sent to OBS was rejected with an error response.")
        fmt.Println(obsError.Error())
    } else {
        fmt.Println("An Exception was found, which means the client encountered an internal problem when attempting to communicate with OBS, for example, the client was unable to access the network.")
        fmt.Println(err)
    }
}

相关链接

  • 关于分段上传-初始化分段上传任务的API说明,请参见初始化上传段任务
  • 更多关于分段上传的示例代码,请参见Github示例
  • 分段上传过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码

相关文档