上传对象-异步断点续传上传
功能说明
断点续传上传对分段上传的封装和加强,解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录在checkpoint文件中,仅当所有分段都上传成功时返回上传成功的结果,否则返回错误信息提醒用户再次调用接口进行重新上传(重新上传时因为有checkpoint文件记录当前的上传进度,避免重新上传所有分段,从而节省资源提高效率)。
本接口是异步断点续传上传,相对于同步断点续传上传(添加超链接),支持断点续传上传过程中进行暂停/恢复、取消操作。
如果您有需要暂停/恢复、取消的场景,建议使用本接口,否则建议使用同步的断点续传上传接口,使用方式会更加简单。
接口约束
- 您必须是桶拥有者或拥有上传对象的权限,才能上传对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:PutObject权限,如果使用桶策略则需授予PutObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。
- OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。
- 断点续传上传接口传入的文件大小至少要100K以上。
- 使用SDK的断点续传接口时,必须开启断点续传选项后才能在进程再次进入时读取上一次上传的进度。
方法定义
func (obsClient ObsClient) UploadFileAsync(input *UploadFileInput, extensions ...extensionOptions) (task *TransferTask, err error)
请求参数说明
| 参数名称 | 参数类型 | 是否必选 | 描述 |
|---|---|---|---|
| input | 必选 | 参数解释: 断点续传上传请求参数,详见UploadFileInput。 | |
| extensions | 可选 | 参数解释: 桶相关扩展信息。通过调用拓展配置项为对应请求配置额外的拓展请求头,详情参考extensionOptions。 |
| 参数名称 | 参数类型 | 是否必选 | 描述 |
|---|---|---|---|
| Bucket | string | 必选 | 参数解释: 桶名。 约束限制:
默认取值: 无 |
| Key | string | 必选 | 参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
| UploadFile | string | 必选 | 参数解释: 待上传对象的本地文件路径。 默认取值: 无 |
| PartSize | int64 | 必选 | 参数解释: 分段大小。 取值范围: 100KB~5GB,单位:字节。 默认取值: 102400字节 |
| TaskNum | int | 可选 | 参数解释: 分段上传时的最大并发数。 取值范围: 1~10000,单位:个。 默认取值: 1,即不设置则默认串行上传。 |
| EnableCheckpoint | bool | 可选 | 参数解释: 是否开启断点续传模式。 取值范围: true:开启断点续传模式。 false:关闭断点续传模式。 默认取值: false |
| CheckpointFile | string | 可选 | 参数解释: 记录上传进度文件的文件路径,仅在断点续传模式下有效。 默认取值: 当该值为空时,默认为待上传的本地文件的同级目录。 |
| ACL | 可选 | 参数解释: 创建对象时可指定的预定义ACL。有关访问控制列表(Access Control List,ACL)功能的详细信息可参见ACL功能介绍。 取值范围: 可选择的ACL选项参见AclType。 默认取值: 无 | |
| WebsiteRedirectLocation | string | 可选 | 参数解释: 当桶设置了Website配置,可以将获取这个对象的请求重定向到桶内另一个对象或一个外部的URL。 例如,重定向请求到桶内另一对象: WebsiteRedirectLocation:/anotherPage.html 或重定向请求到一个外部URL: WebsiteRedirectLocation:http://www.example.com/ OBS将这个值从头域中取出,保存在对象的元数据“WebsiteRedirectLocation”中。 约束限制:
默认取值: 无 |
| ContentType | string | 可选 | 参数解释: 待上传对象的文件类型(MIME类型)。Content-Type(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式。 取值范围: 常见的Content-Type(MIME)列表参见如何理解Content-Type(MIME)? 默认取值: 如果您在上传Object时未指定Content-Type,SDK会根据指定Object名称的后缀名来判定文件类型并自动填充Content-Type。 |
| SseHeader | 或 | 可选 | 参数解释: 服务端加密头信息,选择SSE-C加密方式,则详见SseCHeader,选择SSE-KMS加密方式,则详见SseKmsHeader。 |
| StorageClass | 可选 | 参数解释: 创建对象时,可以加上此头域设置对象的存储类型。 取值范围: 可选择的存储类型参见StorageClassType。 默认取值: 如果未设置此头域,则对象的存储类型默认是桶的存储类型。 | |
| Metadata | map[string]string | 可选 | 参数解释: 待上传对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制:
默认取值: 无 |
| Expires | int64 | 可选 | 参数解释: 表示对象的过期时间(从对象最后修改时间开始计算),过期之后对象会被自动删除。 取值范围: 1~(263-1),单位:天。 默认取值: 无 |
| GrantReadId | string | 可选 | 参数解释: 被授予READ权限的账号的账号ID,即domain_id。账号被授予READ权限后,针对当前对象,允许被授权指定账号有读对象和获取对象元数据的权限。 取值范围: 获取账号ID的方法请参见如何获取账号ID和用户ID? 默认取值: 无 |
| GrantReadAcpId | string | 可选 | 参数解释: 被授予READ_ACP权限的账号的账号ID,即domain_id。账号被授予READ_ACP权限后,针对当前对象,允许读取对象的ACL。 取值范围: 获取账号ID的方法请参见如何获取账号ID和用户ID? 默认取值: 无 |
| GrantWriteAcpId | string | 可选 | 参数解释: 被授予WRITE_ACP权限的账号的账号ID,即domain_id。账号被授予WRITE_ACP权限后,针对当前对象,允许修改对象的ACL信息。 取值范围: 如何获取账号ID请参见如何获取账号ID和用户ID? 默认取值: 无 |
| GrantFullControlId | string | 可选 | 参数解释: 被授予FULL_CONTROL权限的账号的账号ID,即domain_id。账号被授予FULL_CONTROL权限后,针对当前对象,允许进行任何操作,读对象、获取对象元数据、获取对象ACL、写对象ACL。 取值范围: 如何获取账号ID请参见如何获取账号ID和用户ID? 默认取值: 无 |
| EncodingType | string | 可选 | 参数解释: 用于指定对响应中的Key进行指定类型的编码。如果Key包含xml 1.0标准不支持的控制字符,可通过设置该参数对响应中的Key进行编码。 取值范围: 可选值为url。 默认取值: 无,不设置则不编码。 |
| 常量名 | 原始值 | 说明 |
|---|---|---|
| AclPrivate | private | 私有读写。 桶或对象的所有者拥有完全控制的权限,其他任何人都没有访问权限。 |
| AclPublicRead | public-read | 公共读私有写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。 设在对象上,所有人可以获取该对象内容和元数据。 |
| AclPublicReadWrite | public-read-write | 公共读写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本、上传对象、删除对象、初始化段任务、上传段、合并段、拷贝段、取消多段上传任务。 设在对象上,所有人可以获取该对象内容和元数据。 |
| AclPublicReadDelivered | public-read-delivered | 桶公共读,桶内对象公共读。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本,可以获取该桶内对象的内容和元数据。 说明: AclPublicReadDelivered不能应用于对象。 |
| AclPublicReadWriteDelivered | public-read-write-delivered | 桶公共读写,桶内对象公共读写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本、上传对象、删除对象、初始化段任务、上传段、合并段、拷贝段、取消多段上传任务,可以获取该桶内对象的内容和元数据。 说明: AclPublicReadWriteDelivered不能应用于对象。 |
| AclBucketOwnerFullControl | bucket-owner-full-control | 设在对象上,桶和对象的所有者拥有对象的完全控制权限,其他任何人都没有访问权限。 默认情况下,上传对象至其他用户的桶中,桶拥有者没有对象的控制权限。对象拥有者为桶拥有者添加此权限控制策略后,桶所有者可以完全控制对象。例如,用户A上传对象x至用户B的桶中,系统默认用户B没有对象x的控制权。当用户A为对象x设置bucket-owner-full-control后,用户B就拥有了对象x的控制权。 |
| 参数名称 | 参数类型 | 是否必选 | 描述 |
|---|---|---|---|
| Encryption | string | 作为请求参数时必选 | 参数解释: 表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。 约束限制: 无 取值范围: 可选值:AES256,即选择SSE-C方式加密对象。 默认取值: 无 |
| Key | string | 作为请求参数时必选 | 参数解释: SSE-C方式下加密使用的密钥,该密钥用于加密对象。 约束限制: 该头域由256bit的密钥经过Base64编码得到,示例:K7QkYpBkM5+hca27fsNkUnNVaobncnLht/rCB2o/9Cw= 取值范围: 无 默认取值: 无 |
| KeyMD5 | string | 作为请求参数时可选 | 参数解释: SSE-C方式下加密使用密钥的MD5值,该值用于验证密钥传输过程中是否出错。 约束限制: 由密钥值经过MD5加密再经过Base64编码后得到,示例:4XvB3tbNTN+tIEVa0/fGaQ== 取值范围: 无 默认取值: 无 |
| 参数名称 | 参数类型 | 是否必选 | 描述 |
|---|---|---|---|
| Encryption | string | 作为请求参数时必选 | 参数解释: 表示服务端加密是SSE-KMS方式。对象使用SSE-KMS方式加密。 取值范围: 可选值:kms,即选择SSE-KMS方式加密对象。 默认取值: 无 |
| Key | string | 作为请求参数时可选 | 参数解释: SSE-KMS加密方式下使用的KMS主密钥的ID值。 取值范围: 有效值支持两种格式:
其中:
默认取值:
|
| ProjectID | string | 作为请求参数时可选 | 参数解释: SSE-KMS加密方式下KMS主密钥所属的项目ID(非企业项目ID)。 约束限制: 无 取值范围: 与Key指定的密钥ID相匹配的项目ID(非企业项目ID)。 默认取值: 无 |
| 常量名 | 原始值 | 说明 |
|---|---|---|
| StorageClassStandard | STANDARD | 标准存储。 标准存储拥有低访问时延和较高的吞吐量,适用于有大量热点对象(平均一个月多次)或小对象(<1MB),且需要频繁访问数据的业务场景。 |
| StorageClassWarm | WARM | 低频访问存储。 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 |
| StorageClassCold | COLD | 归档存储。 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。 |
| StorageClassDeepArchive | DEEP_ARCHIVE | 深度归档存储 适用于长期不访问(平均几年访问一次)数据的业务场景。 |
返回结果说明
| 方法 | 说明 |
|---|---|
| Status() TransferStatusType | 获取当前任务状态 |
| Pause() error | 暂停任务 |
| Resume() error | 恢复任务 |
| Cancel() error | 取消任务 |
| Done() <-chan struct{} | 获取完成信号通道 |
| GetResult() (interface{}, error) | 获取上传结果 |
上传成功后通过 GetResult() 获取结果,返回CompleteMultipartUploadOutput
| 字段 | 类型 | 说明 |
|---|---|---|
| VersionId | string | 对象版本号(版本化桶) |
| ETag | string | 对象的 ETag 值 |
| Location | string | 桶的地理位置 |
| Bucket | string | 桶名称 |
| Key | string | 对象键 |
代码示例
示例1-异步断点续传上传文件。将本地路径中的example文件,使用异步断点续传的方式上传到examplebucket中,对象名为new-example。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 | package main import ( "fmt" "os" obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs" ) func main() { //推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险。 //您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html。 ak := os.Getenv("AccessKeyID") sk := os.Getenv("SecretAccessKey") // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。 // securityToken := os.Getenv("SecurityToken") // endpoint填写Bucket对应的Endpoint, 这里以华北-北京四为例,其他地区请按实际情况填写。 endPoint := "https://obs.cn-north-4.myhuaweicloud.com" // 创建obsClient实例 // 如果使用临时AKSK和SecurityToken访问OBS,需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。 obsClient, err := obs.New(ak, sk, endPoint/*, obs.WithSecurityToken(securityToken)*/) if err != nil { fmt.Printf("Create obsClient error, errMsg: %s", err.Error()) } // 准备上传输入 input := &obs.UploadFileInput{ Bucket: "examplebucket", Key: "new-example", UploadFile: "/path/to/local/example", PartSize: 10 * 1024 * 1024, // 10MB TaskNum: 3, // 3个并发任务 } // 启动异步上传 task, err := client.UploadFileAsync(input) if err != nil { log.Fatal(err) } // 等待上传完成 <-task.Done() // 获取上传结果 result, err := task.GetResult() if err != nil { fmt.Printf("上传失败: %v\n", err) return } output := result.(*obs.CompleteMultipartUploadOutput) fmt.Printf("上传成功!\nETag: %s\nVersionId: %s\n", output.ETag, output.VersionId) } |
示例2-异步断点续传上传文件。将本地路径中的example文件,使用异步断点续传的方式上传到examplebucket中,对象名为new-example,并带上传进度回调。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 | package main import ( "fmt" "os" obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs" ) // 进度监听器 type ProgressListener struct{} func (l *ProgressListener) ProgressChanged(event *obs.ProgressEvent) { switch event.EventType { case obs.TransferStartedEvent: fmt.Printf("开始上传: 总大小 %d 字节\n", event.TotalBytes) case obs.TransferDataEvent: percent := float64(event.ConsumedBytes) / float64(event.TotalBytes) * 100 fmt.Printf("上传中: %.2f%% (%d/%d 字节)\n", percent, event.ConsumedBytes, event.TotalBytes) case obs.TransferCompletedEvent: fmt.Println("上传完成!") case obs.TransferFailedEvent: fmt.Printf("上传失败: 已传输 %d/%d 字节\n", event.ConsumedBytes, event.TotalBytes) } } func main() { //推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险。 //您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html。 ak := os.Getenv("AccessKeyID") sk := os.Getenv("SecretAccessKey") // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。 // securityToken := os.Getenv("SecurityToken") // endpoint填写Bucket对应的Endpoint, 这里以华北-北京四为例,其他地区请按实际情况填写。 endPoint := "https://obs.cn-north-4.myhuaweicloud.com" // 创建obsClient实例 // 如果使用临时AKSK和SecurityToken访问OBS,需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。 obsClient, err := obs.New(ak, sk, endPoint/*, obs.WithSecurityToken(securityToken)*/) if err != nil { fmt.Printf("Create obsClient error, errMsg: %s", err.Error()) } input := &obs.UploadFileInput{ Bucket: "examplebucket", Key: "new-example", UploadFile: "/path/to/local/example", PartSize: 10 * 1024 * 1024, TaskNum: 3, } // 添加进度监听器 task, err := client.UploadFileAsync(input, obs.WithProgressListener(&ProgressListener{})) if err != nil { log.Fatal(err) } // 等待完成 <-task.Done() result, err := task.GetResult() if err != nil { fmt.Printf("上传失败: %v\n", err) return } output := result.(*obs.CompleteMultipartUploadOutput) fmt.Printf("上传成功! ETag: %s\n", output.ETag) } |
示例3-异步断点续传开始后暂定、恢复
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 | package main import ( "fmt" "os" obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs" ) func main() { //推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险。 //您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html。 ak := os.Getenv("AccessKeyID") sk := os.Getenv("SecretAccessKey") // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。 // securityToken := os.Getenv("SecurityToken") // endpoint填写Bucket对应的Endpoint, 这里以华北-北京四为例,其他地区请按实际情况填写。 endPoint := "https://obs.cn-north-4.myhuaweicloud.com" // 创建obsClient实例 // 如果使用临时AKSK和SecurityToken访问OBS,需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。 obsClient, err := obs.New(ak, sk, endPoint/*, obs.WithSecurityToken(securityToken)*/) if err != nil { fmt.Printf("Create obsClient error, errMsg: %s", err.Error()) } input := &obs.UploadFileInput{ Bucket: "examplebucket", Key: "new-example", UploadFile: "/path/to/local/example", PartSize: 10 * 1024 * 1024, TaskNum: 3, } task, err := client.UploadFileAsync(input) if err != nil { log.Fatal(err) } // 运行 5 秒后暂停 go func() { time.Sleep(5 * time.Second) fmt.Println("暂停上传...") err := task.Pause() if err != nil { fmt.Printf("暂停失败: %v\n", err) } else { fmt.Println("上传已暂停") } }() // 等待暂停 for task.Status() != obs.TransferStatusPaused { time.Sleep(100 * time.Millisecond) } fmt.Println("当前状态: 已暂停") // 暂停 3 秒后恢复 time.Sleep(3 * time.Second) fmt.Println("恢复上传...") err = task.Resume() if err != nil { fmt.Printf("恢复失败: %v\n", err) } else { fmt.Println("上传已恢复") } // 等待完成 <-task.Done() result, err := task.GetResult() if err != nil { fmt.Printf("上传失败: %v\n", err) return } output := result.(*obs.CompleteMultipartUploadOutput) fmt.Printf("上传成功! ETag: %s\n", output.ETag) } |
示例4-异步断点续传开始后取消
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 | package main import ( "fmt" "os" obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs" ) func main() { //推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险。 //您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html。 ak := os.Getenv("AccessKeyID") sk := os.Getenv("SecretAccessKey") // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。 // securityToken := os.Getenv("SecurityToken") // endpoint填写Bucket对应的Endpoint, 这里以华北-北京四为例,其他地区请按实际情况填写。 endPoint := "https://obs.cn-north-4.myhuaweicloud.com" // 创建obsClient实例 // 如果使用临时AKSK和SecurityToken访问OBS,需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。 obsClient, err := obs.New(ak, sk, endPoint/*, obs.WithSecurityToken(securityToken)*/) if err != nil { fmt.Printf("Create obsClient error, errMsg: %s", err.Error()) } input := &obs.UploadFileInput{ Bucket: "examplebucket", Key: "new-example", UploadFile: "/path/to/local/example", PartSize: 10 * 1024 * 1024, TaskNum: 3, } task, err := client.UploadFileAsync(input) if err != nil { log.Fatal(err) } // 运行 5 秒后取消 go func() { time.Sleep(5 * time.Second) fmt.Println("取消上传...") err := task.Cancel() if err != nil { fmt.Printf("取消失败: %v\n", err) } else { fmt.Println("上传已取消") } }() // 等待完成/取消 <-task.Done() // 检查结果 result, err := task.GetResult() if err != nil { if err.Error() == "upload task cancelled" { fmt.Println("上传已被用户取消") } else { fmt.Printf("上传失败: %v\n", err) } return } output := result.(*obs.CompleteMultipartUploadOutput) fmt.Printf("上传成功! ETag: %s\n", output.ETag) } |