# 下载对象-断点续传下载(Go SDK) #### 功能说明 当下载大对象到本地文件时，经常出现因网络不稳定或程序崩溃导致下载失败的情况。失败后再次重新下载不仅浪费资源，而且当网络不稳定时仍然有下载失败的风险。断点续传下载接口能有效地解决此类问题引起的下载失败，其原理是将待下载的对象分成若干个分段分别下载，并实时地将每段下载结果统一记录在checkpoint文件中，仅当所有分段都下载成功时返回下载成功的结果，否则返回错误信息提醒用户再次调用接口进行重新下载（重新下载时因为有checkpoint文件记录当前的下载进度，避免重新下载所有分段，从而节省资源提高效率）。 您可以通过ObsClient.DownloadFile进行断点续传下载。 #### 接口约束 - 您必须是桶拥有者或拥有下载对象的权限，才能下载对象。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:object:GetObject权限，如果使用桶策略则需授予GetObject权限。相关授权方式介绍可参见[OBS权限控制概述](https://support.huaweicloud.com/perms-cfg-obs/obs_40_0001.html)，配置方式详见[使用IAM自定义策略](https://support.huaweicloud.com/usermanual-obs/obs_03_0121.html)、[配置对象策略](https://support.huaweicloud.com/usermanual-obs/obs_03_0075.html)。 - OBS支持的Region与Endpoint的对应关系，详细信息请参见[地区与终端节点](https://developer.huaweicloud.com/endpoint?OBS)。 - 断点续传下载接口是利用[范围下载](https://support.huaweicloud.com/sdk-go-devg-obs/obs_23_0503.html)特性实现的，是对范围下载的封装和加强。 - 断点续传下载接口不仅能在失败重下时节省资源提高效率，还因其对分段进行并发下载的机制能加快下载速度，帮助用户快速完成下载业务；且其对用户透明，用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发下载的实现等内部细节。 - **EnableCheckpoint** **参数**默认是False，代表不启用断点续传模式，此时断点续传下载接口退化成对范围下载的简单封装，不会产生checkpoint文件。 - **CheckpointFile** **参数** 仅在**EnableCheckpoint参数**为True时有效。 #### 方法定义 **func** (obsClient ObsClient) DownloadFile(input \*[DownloadFileInput], extensions...extensionOptions) (output \*[GetObjectMetadataOutput], err error) #### 请求参数说明 表1请求参数列表 | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | input | \*[DownloadFileInput] | 必选 | **参数解释：** 断点续传下载请求参数，详见[DownloadFileInput]。 | | extensions | [extensionOptions](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0105.html) | 可选 | **参数解释：** 拓展配置项。通过调用拓展配置项为对应请求配置额外的拓展请求头，详情参考[extensionOptions](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0105.html)。 | 表2DownloadFileInput | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | Bucket | string | 必选 | **参数解释** **：** 桶名。 **约束限制：** - 桶命名规则如下： - 需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。用户删除桶后，立即创建同名桶或并行文件系统会创建失败，需要等待30分钟才能创建。 - 长度范围为3到63个字符，仅支持小写字母、数字、中划线（-）、英文句号（.）。 - 禁止两个英文句号（.）相邻，禁止英文句号（.）和中划线（-）相邻，禁止以英文句号（.）和中划线（-）开头或结尾。 - 禁止使用IP地址。 - 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。 **默认取值：** 无 | | Key | string | 必选 | **参数解释：** 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。 例如，您对象的访问地址为examplebucket.obs.cn-north-4. emyhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | VersionId | string | 可选 | **参数解释：** 对象的版本号，用于获取指定版本号的对象。例如：G001117FCE89978B0000401205D5DC9。 **取值范围：** 长度为32的字符串。 **默认取值：** 无，如果不设置则默认获取最新版本的对象。 | | DownloadFile | string | 可选 | **参数解释：** 下载对象的本地文件全路径。 **默认取值：** 当该值为空时，默认为当前程序的运行目录。 | | PartSize | int64 | 可选 | **参数解释：** 分段大小。 **取值范围：** 大于0，小于对象大小，单位：字节。 **默认取值：** 9437184，即每段9MB。 | | TaskNum | int | 可选 | **参数解释：** 分段下载时的最大并发数。 **取值范围：** (0, 文件大小/分段大小\]，即大于0小于等于文件大小除以分段大小向上取整。 **默认取值：** 1，即不设置则默认串行下载。 | | EnableCheckpoint | bool | 可选 | **参数解释：** 是否开启断点续传模式。 **取值范围：** - true：开启断点续传模式。 - false：关闭断点续传模式。 **默认取值：** false | | CheckpointFile | string | 可选 | **参数解释：** 记录下载进度文件的文件路径，只在断点续传模式下有效。 **默认取值：** 当该值为空时，默认与下载对象的本地文件路径同目录。 | | SseHeader | [SseCHeader] | 可选 | **参数解释：** 服务端解密头信息，详见[SseCHeader]。 | | IfMatch | string | 可选 | **参数解释：** 指定一个预设的Etag值，如果下载对象的ETag值与该参数值相同，则返回对象内容，否则返回错误。 **取值范围：** 长度为32的字符串。 **默认取值：** 无 | | IfNoneMatch | string | 可选 | **参数解释：** 指定一个预设的Etag值，如果下载对象的ETag值与该参数值不相同，则返回对象内容，否则返回错误。 **取值范围：** 长度为32的字符串。 **默认取值：** 无 | | IfModifiedSince | time.Time | 可选 | **参数解释：** 如果对象在指定的时间后有修改，则返回对象内容，否则返回错误。 **约束限制：** 日期格式必须为ISO8601的格式。 例如：2018-01-01T00:00:00.000Z，表示如果最后修改时间晚于2018-01-01T00:00:00.000Z则返回对象内容，否则返回错误。 代码示例：*time.Now().Add(time.Duration(24) \* time.Hour)*。 **默认取值：** 无 | | IfUnmodifiedSince | time.Time | 可选 | **参数解释：** 如果对象在指定的时间后没有修改，则返回对象内容，否则返回错误。 **约束限制：** 日期格式必须为ISO8601的格式。 例如：2018-01-01T00:00:00.000Z，表示如果最后修改时间早于2018-01-01T00:00:00.000Z则返回对象内容，否则返回错误。 代码示例：*time.Now().Add(time.Duration(24) \* time.Hour)*。 **默认取值：** 无 | 表3SseCHeader | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | Encryption | string | 作为请求参数时必选 | **参数解释：** 表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。 **约束限制：** 无 **取值范围：** 可选值：AES256，即选择SSE-C方式加密对象。 **默认取值：** 无 | | Key | string | 作为请求参数时必选 | **参数解释：** SSE-C方式下加密使用的密钥，该密钥用于加密对象。 **约束限制：** 该头域由256bit的密钥经过Base64编码得到，示例：K7QkYpBkM5+hca27fsNkUnNVaobncnLht/rCB2o/9Cw= **取值范围：** 无 **默认取值：** 无 | | KeyMD5 | string | 作为请求参数时可选 | **参数解释：** SSE-C方式下加密使用密钥的MD5值，该值用于验证密钥传输过程中是否出错。 **约束限制：** 由密钥值经过MD5加密再经过Base64编码后得到，示例：4XvB3tbNTN+tIEVa0/fGaQ== **取值范围：** 无 **默认取值：** 无 | #### 返回结果说明 表4返回结果 | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | output | \*[GetObjectMetadataOutput] | **参数解释：** 接口返回信息，详见[GetObjectMetadataOutput]。 | | err | error | **参数解释：** 接口返回错误信息。 | 表5GetObjectMetadataOutput | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | StatusCode | int | **参数解释：** HTTP状态码。 **取值范围：** 状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见[状态码](https://support.huaweicloud.com/api-obs/obs_04_0114.html)。 **默认取值：** 无 | | RequestId | string | **参数解释：** OBS服务端返回的请求ID。 **默认取值：** 无 | | ResponseHeaders | map\[string\]\[\]string | **参数解释：** HTTP响应头信息。 **默认取值：** 无 | | StorageClass | [StorageClassType] | **参数解释：** 对象的存储类型。 **取值范围：** 对象存储类型取值范围详见[StorageClassType]。 **默认取值：** 无 | | AllowOrigin | string | **参数解释：** 如果请求中的Origin满足桶的CORS规则，则返回CORS规则中的AllowedOrigin。AllowedOrigin指定允许的跨域请求的来源，即允许来自该域名下的请求访问该对象。 **约束限制：** 表示域名的字符串，每个匹配规则允许使用最多一个"\*"通配符。例如：https://\*.vbs.example.com。 **默认取值：** 无 | | AllowHeader | string | **参数解释：** 如果请求的RequestHeader满足桶的CORS规则，则返回CORS规则中的AllowedHeader。AllowedHeader是指允许的跨域请求的头域。只有匹配上允许的头域中的配置，才被视为是合法的CORS请求。 **约束限制：** 最多可填写一个"\*"通配符，不支持\&、:、\<、空格以及中文字符。 **默认取值：** 无 | | AllowMethod | string | **参数解释：** 桶CORS规则中的AllowedMethod。AllowedMethod指允许的跨域请求HTTP方法，即桶和对象的几种操作类型。 **取值范围：** 支持以下HTTP方法： - GET - PUT - HEAD - POST - DELETE **默认取值：** 无 | | ExposeHeader | string | **参数解释：** 桶CORS规则中的ExposeHeader。ExposeHeader是指CORS规则允许响应中可返回的附加头域，给客户端提供额外的信息。默认情况下浏览器只能访问以下头域：Content-Length、Content-Type，如果需要访问其他头域，需要在附加头域中配置。 **约束限制：** 不支持\*、\&、:、\<、空格以及中文字符。 **默认取值：** 无 | | MaxAgeSeconds | int | **参数解释：** 桶CORS规则中的MaxAgeSeconds。MaxAgeSeconds指请求来源的客户端可以对跨域请求返回结果的缓存时间。 **约束限制：** 每个CORSRule可以包含至多一个MaxAgeSeconds。 **取值范围：** 0\~（2^31^-1），单位：秒。 **默认取值：** 100 | | ContentLength | int64 | **参数解释：** 对象数据的长度。 **取值范围：** 0\~48.8TB，单位：字节。 **默认取值：** 无 | | ContentType | string | **参数解释：** 对象的文件类型（MIME类型）。Content-Type（MIME）用于标识发送或接收数据的类型，浏览器根据该参数来决定数据的打开方式。 **取值范围：** 常见的Content-Type（MIME）列表参见[如何理解Content-Type（MIME）？](https://support.huaweicloud.com/sdk-go-devg-obs/obs_23_1713.html) **默认取值：** 如果您在上传Object时未指定Content-Type，SDK会根据指定Object名称的后缀名来判定文件类型并自动填充Content-Type。 | | LastModified | time.Time | **参数解释：** 对象的最近一次修改时间。 **约束限制：** 日期格式必须为ISO8601的格式。 例如：2018-01-01T00:00:00.000Z，表示最后一次修改时间为2018-01-01T00:00:00.000Z。 **默认取值：** 无 | | ETag | string | **参数解释：** 对象的base64编码的128位MD5摘要。ETag是对象内容的唯一标识，可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A，下载对象时ETag为B，则说明对象内容发生了变化。ETag只反映变化的内容，而不是其元数据。上传的对象或拷贝操作创建的对象，都有唯一的ETag。 **约束限制：** 当对象是服务端加密的对象时，ETag值不是对象的MD5值。 **取值范围：** 长度为32的字符串。 **默认取值：** 无 | | VersionId | string | **参数解释：** 对象的版本号。 **取值范围：** 长度为32的字符串。 **默认取值：** 无 | | Restore | string | **参数解释：** 标识对象的恢复状态。对象为归档存储或深度归档存储类型，并且处于正在恢复或已经恢复时，会返回此头域。 示例：正在恢复ongoing-request="true"；已恢复 ongoing-request="false", expiry-date="Wed, 7 Nov 2012 00:00:00 GMT"。其中expiry-date表示对象恢复后的失效时间。 **约束限制：** 归档或深度归档存储类型对象的恢复状态，如果对象不为归档或深度归档存储类型，则该值为空。 **默认取值：** 无 | | Expiration | string | **参数解释：** 对象的详细过期信息。比如："expiry-date=\\"Mon, 11 Sep 2023 00:00:00 GMT\\"" **默认取值：** 无 | | SseHeader | [SseCHeader] 或 [SseKmsHeader] | **参数解释：** 服务端加密头信息，选择SSE-C加密方式，则详见[SseCHeader]，选择SSE-KMS加密方式，则详见[SseKmsHeader]。 | | WebsiteRedirectLocation | string | **参数解释：** 当桶设置了Website配置，可以将获取这个对象的请求重定向到桶内另一个对象或一个外部的URL，该参数指明对象的重定向地址。 例如，重定向请求到桶内另一对象： WebsiteRedirectLocation:/anotherPage.html 或重定向请求到一个外部URL： WebsiteRedirectLocation:http://www.example.com/ OBS将这个值从头域中取出，保存在对象的元数据"WebsiteRedirectLocation"中。 **约束限制：** - 必须以"/"、"http://"或"https://"开头，长度不超过2KB。 - OBS仅支持为桶根目录下的对象设置重定向，不支持为桶中文件夹下的对象设置重定向。 **默认取值：** 无 | | Metadata | map\[string\]string | **参数解释：** 对象自定义元数据。OBS支持用户使用以"x-obs-meta-"开头的消息头来加入自定义的元数据，以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时，加入的自定义元数据将会在返回的消息头中出现。 **约束限制：** - 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为：每个键和值的UTF-8 编码中的字节总数。 - 自定义元数据的key值不区分大小写，OBS统一转为小写进行存储。value值区分大小写。 - 自定义元数据key-value对都必须符合US-ASCII。如果一定要使用非ASCII码或不可识别字符，需要客户端自行做编解码处理，可以采用URL编码或者Base64编码，服务端不会做解码处理。例如x-obs-meta-中文：中文 经URL编码后发送，"中文"的URL编码为：%E4%B8%AD%E6%96%87，则响应为x-obs-meta-%E4%B8%AD%E6%96%87: %E4%B8%AD%E6%96%87 **默认取值：** 无 | 表6StorageClassType | **常量名** | **原始值** | **说明** | |:---|:---|:---| | StorageClassStandard | STANDARD | 标准存储。 标准存储拥有低访问时延和较高的吞吐量，适用于有大量热点对象（平均一个月多次）或小对象（\<1MB），且需要频繁访问数据的业务场景。 | | StorageClassWarm | WARM | 低频访问存储。 低频访问存储适用于不频繁访问（平均一年少于12次）但在需要时也要求能够快速访问数据的业务场景。 | | StorageClassCold | COLD | 归档存储。 归档存储适用于很少访问（平均一年访问一次）数据的业务场景。 | | StorageClassDeepArchive | DEEP_ARCHIVE | 深度归档存储 适用于长期不访问（平均几年访问一次）数据的业务场景。 | 表7SseCHeader | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | Encryption | string | 作为请求参数时必选 | **参数解释：** 表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。 **约束限制：** 无 **取值范围：** 可选值：AES256，即选择SSE-C方式加密对象。 **默认取值：** 无 | | Key | string | 作为请求参数时必选 | **参数解释：** SSE-C方式下加密使用的密钥，该密钥用于加密对象。 **约束限制：** 该头域由256bit的密钥经过Base64编码得到，示例：K7QkYpBkM5+hca27fsNkUnNVaobncnLht/rCB2o/9Cw= **取值范围：** 无 **默认取值：** 无 | | KeyMD5 | string | 作为请求参数时可选 | **参数解释：** SSE-C方式下加密使用密钥的MD5值，该值用于验证密钥传输过程中是否出错。 **约束限制：** 由密钥值经过MD5加密再经过Base64编码后得到，示例：4XvB3tbNTN+tIEVa0/fGaQ== **取值范围：** 无 **默认取值：** 无 | 表8SseKmsHeader | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | Encryption | string | 作为请求参数时必选 | **参数解释：** 表示服务端加密是SSE-KMS方式。对象使用SSE-KMS方式加密。 **取值范围：** 可选值：kms，即选择SSE-KMS方式加密对象。 **默认取值：** 无 | | Key | string | 作为请求参数时可选 | **参数解释：** SSE-KMS加密方式下使用的KMS主密钥的ID值。 **取值范围：** 有效值支持两种格式： 1. regionID:domainID(账号ID):key/key_id 2. key_id 其中： - regionID是使用密钥所属region的ID，可在[地区和终端节点](https://developer.huaweicloud.com/endpoint?OBS)页面获取； - domainID是使用密钥所属账号的账号ID，获取方法参见[如何获取账号ID和用户ID？](https://support.huaweicloud.com/sdk-go-devg-obs/obs_23_1712.html)； - key_id是从数据加密服务创建的密钥ID，获取方法请参见[查看密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0179.html)。 **默认取值：** - 如果用户没有提供该头域，那么默认的主密钥将会被使用。 - 如果默认主密钥不存在，将默认创建并使用。 | | ProjectID | string | 作为请求参数时可选 | **参数解释**： SSE-KMS加密方式下KMS主密钥所属的项目ID（非企业项目ID）。 **约束限制**： 无 **取值范围**： 与Key指定的密钥ID相匹配的项目ID（非企业项目ID）。 **默认取值**： 无 | #### 代码示例 本示例用于断点下载examplebucket桶中的example/objectname对象。 ``` package main import ( "fmt" "os" obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs" ) func main() { //推荐通过环境变量获取AKSK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险。 //您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html。 ak := os.Getenv("AccessKeyID") sk := os.Getenv("SecretAccessKey") // 【可选】如果使用临时AK/SK和SecurityToken访问OBS，同样建议您尽量避免使用硬编码，以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK，也可以使用其他外部引入方式传入。 // securityToken := os.Getenv("SecurityToken") // endpoint填写Bucket对应的Endpoint，这里以华北-北京四为例，其他地区请按实际情况填写。 endPoint := "https://obs.cn-north-4.myhuaweicloud.com" // 创建obsClient实例 // 如果使用临时AKSK和SecurityToken访问OBS，需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。 obsClient, err := obs.New(ak, sk, endPoint/*, obs.WithSecurityToken(securityToken)*/) if err != nil { fmt.Printf("Create obsClient error, errMsg: %s", err.Error()) } input := &obs.DownloadFileInput{} // 指定存储桶名称 input.Bucket = "examplebucket" // 指定下载对象，此处以 example/objectname 为例。 input.Key = "example/objectname" // 指定下载对象的本地文件全路径，此处以/tmp/objectname为例。当该值为空时，默认为当前程序的运行目录。 input.DownloadFile = "/tmp/objectname" // 指定是否开启断点续传模式，此处以true为例。默认为False，表示不开启。 input.EnableCheckpoint = true // 指定分段大小，单位字节。此处以每段9M为例。 input.PartSize = 9 * 1024 * 1024 // 指定分段下载时的最大并发数，此处以并发数5为例 input.TaskNum = 5 // 断点续传下载对象 output, err := obsClient.DownloadFile(input) if err == nil { fmt.Printf("Download file(%s) under the bucket(%s) successful!\n", input.Key, input.Bucket) fmt.Printf("StorageClass:%s, ETag:%s, ContentType:%s, ContentLength:%d, LastModified:%s\n", output.StorageClass, output.ETag, output.ContentType, output.ContentLength, output.LastModified) return } fmt.Printf("Download file(%s) under the bucket(%s) fail!\n", input.Key, input.Bucket) if obsError, ok := err.(obs.ObsError); ok { fmt.Println("An ObsError was found, which means your request sent to OBS was rejected with an error response.") fmt.Println(obsError.Error()) } else { fmt.Println("An Exception was found, which means the client encountered an internal problem when attempting to communicate with OBS, for example, the client was unable to access the network.") fmt.Println(err) } } ``` #### 相关链接 - 关于下载对象的API说明，请参见[获取对象内容](https://support.huaweicloud.com/api-obs/obs_04_0083.html)。 - 更多关于下载对象的示例代码，请参见[Github示例](https://github.com/huaweicloud/huaweicloud-sdk-go-obs/blob/master/examples/object_operations_sample.go)。 - 下载对象过程中返回的错误码含义、问题原因及处理措施可参考[OBS错误码](https://support.huaweicloud.com/api-obs/obs_04_0115.html#section1)。 - 下载对象常见问题请参见[下载对象失败](https://support.huaweicloud.com/obs_faq/obs_faq_0135.html)。