文档首页/ 对象存储服务 OBS/ SDK参考/ Node.js/ 下载对象(Node.js SDK)/ 断点续传下载(Node.js SDK)
更新时间：2024-11-13 GMT+08:00
查看PDF
分享

断点续传下载(Node.js SDK)

开发过程中，您有任何问题可以在github上提交issue。

功能说明

断点续传下载接口是利用范围下载特性实现的，是对范围下载的封装和加强，当下载大对象到本地文件时，经常出现因网络不稳定或程序崩溃导致下载失败的情况。失败后再次重新下载不仅浪费资源，而且当网络不稳定时仍然有下载失败的风险。断点续传下载接口能有效地解决此类问题引起的下载失败，其原理是将待下载的对象分成若干个分段分别下载，并实时地将每段下载结果统一记录在checkpoint文件中，仅当所有分段都下载成功时返回下载成功的结果，否则在回调函数中返回错误码提醒用户再次调用接口进行重新下载（重新下载时因为有checkpoint文件记录当前的下载进度，避免重新下载所有分段，从而节省资源提高效率）。

断点续传下载接口不仅能在失败重下时节省资源提高效率，还因其对分段进行并发下载的机制能加快下载速度，帮助用户快速完成下载业务；且其对用户透明，用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发下载的实现等内部细节。

接口约束

  • 您必须是桶拥有者或拥有下载对象的权限，才能下载对象。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:object:GetObject权限，如果使用桶策略则需授予GetObject权限。相关授权方式介绍可参见OBS权限控制概述，配置方式详见使用IAM自定义策略、配置对象策略。
  • OBS支持的Region与Endpoint的对应关系，详细信息请参见地区与终端节点。
  • 对于存储类别为归档存储的对象，需要确认对象的状态为“已恢复”才能对其进行下载。

方法定义

ObsClient.downloadFile(params)

请求参数

表1 请求参数列表

参数名称

类型

是否必选

说明

Bucket

string

必选

参数解释：

桶名。

约束限制：

  • 桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。
  • 桶命名规则如下：
    • 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻（如：“my..bucket”）。
    • 禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。
  • 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。

取值范围：

长度为3～63个字符。

默认取值：

无

Key

string

必选

参数解释：

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。

例如，您对象的访问地址为examplebucket.obs.ap-southeast-1.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。

约束限制：

无

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

VersionId

string

可选

参数解释：

对象的版本号。例如：G001117FCE89978B0000401205D5DC9A。

约束限制：

无

取值范围：

长度为32的字符串。

默认取值：

无

DownloadFile

string

可选

参数解释：

下载对象的本地文件全路径。当该值为空时，默认为当前程序的运行目录。

约束限制：

包含文件名，如aa/bb.txt

取值范围：

无

默认取值：

无

PartSize

number

可选

参数解释：

当前段的长度。

约束限制：

无

取值范围：

100KB~5GB，单位：字节。

默认取值：

102400字节

TaskNum

number

可选

参数解释：

分段下载时的最大并发数。

约束限制：

无

取值范围：

1~10000

默认取值：

1，即不设置则默认串行下载。

ProgressCallback

function

可选

参数解释：

获取下载进度的回调函数。

说明：

该回调函数依次包含三个参数：已下载的字节数、总字节数、已使用的时间（单位：秒）。

约束限制：

无

取值范围：

无

默认取值：

无

ResumeCallback

function

可选

参数解释：

获取取消断点续传控制参数的回调函数。

约束限制：

无

取值范围：

无

默认取值：

无

说明：
  • 该回调函数有一个参数：取消断点续传下载任务控制参数；
  • 可以调用取消断点续传下载任务控制参数的cancel方法来暂停断点续传下载任务。

EnableCheckpoint

boolean

可选

参数解释：

是否开启断点续传模式。

约束限制：

无

取值范围：

  • true：开启断点续传模式。
  • false：关闭断点续传模式，此时断点续传下载接口退化成对分段下载的简单封装，不会产生checkpoint文件

默认取值：

false

CheckpointFile

string

可选

参数解释：

断点续传过程中，会生成一个进度记录文件，文件中会记录段的下载进度和段的相关信息。checkpointFile参数为该记录文件的文件路径。

约束限制：

仅在断点续传模式下有效。

取值范围：

无

默认取值：

当该值为空时，默认为待下载的本地文件的同级目录。

IfMatch

string

可选

参数解释：

指定一个预设的Etag值，如果下载对象的ETag值与该参数值相同，则返回对象内容，否则返回错误。

约束限制：

无

取值范围：

长度为32的字符串。

默认取值：

无

IfModifiedSince

string

可选

参数解释：

如果对象的修改时间晚于该参数值指定的时间，则返回对象内容，否则返回异常码。

约束限制：

该参数值必须符合http://www.ietf.org/rfc/rfc2616.txt规定的HTTP时间格式。

取值范围：

无

默认取值：

无

IfNoneMatch

string

可选

参数解释：

指定一个预设的Etag值，如果下载对象的ETag值与该参数值不相同，则返回对象内容，否则返回错误。

约束限制：

无

取值范围：

长度为32的字符串。

默认取值：

无

IfUnmodifiedSince

string

可选

参数解释：

如果对象的修改时间早于该参数值指定的时间，则返回对象内容，否则返回异常码。

约束限制：

该参数值必须符合http://www.ietf.org/rfc/rfc2616.txt规定的HTTP时间格式。

取值范围：

无

默认取值：

无

SseC

string

当使用SSE-C方式时，必选

参数解释：

以SSE-C方式解密对象。

约束限制：

仅支持AES256。

取值范围：

可选值：AES256。

默认取值：

无

SseCKey

string

当使用SSE-C方式时，必选

参数解释：

SSE-C方式下解密的密钥，该密钥用于解密对象。

约束限制：

该头域由256bit的密钥经过Base64编码得到，示例：K7QkYpBkM5+hca27fsNkUnNVaobncnLht/rCB2o/9Cw=

取值范围：

无

默认取值：

无
  • 如果包含IfUnmodifiedSince并且不符合或者包含IfMatch并且不符合，抛出异常中HTTP状态码为：412 precondition failed。
  • 如果包含IfModifiedSince并且不符合或者包含IfNoneMatch并且不符合，抛出异常中HTTP状态码为：304 Not Modified。

返回结果

表2 返回结果

参数类型

描述

表3

说明：

该接口返回是一个Promise类型，需要使用Promise、async/await语法处理。

参数解释：

接口返回信息，详见表3。
表3 Response

参数名称

参数类型

描述

CommonMsg

ICommonMsg

参数解释：

接口调用完成后的公共信息，包含HTTP状态码，操作失败的错误码等，详见ICommonMsg。

InterfaceResult

表5

参数解释：

操作成功后的结果数据，详见表5。

约束限制：

当Status大于300时为空。
表4 ICommonMsg

参数名称

参数类型

描述

Status

number

参数解释：

OBS服务端返回的HTTP状态码。

取值范围：

状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见状态码。

Code

string

参数解释：

OBS服务端返回的错误码。

Message

string

参数解释：

OBS服务端返回的错误描述。

HostId

string

参数解释：

OBS服务端返回的请求服务端ID。

RequestId

string

参数解释：

OBS服务端返回的请求ID。

Id2

string

参数解释：

OBS服务端返回的请求ID2。

Indicator

string

参数解释：

OBS服务端返回的详细错误码。
表5 DownloadFileOutput

参数名称

参数类型

描述

RequestId

string

参数解释：

OBS服务端返回的请求ID。

DeleteMarker

string

参数解释：

标识删除的对象是否是删除标记。

LastModified

string

参数解释：

对象的最近一次修改时间。

CacheControl

string

参数解释：

响应中的Cache-Control头。

ContentDisposition

string

参数解释：

响应中的Content-Disposition头。

ContentEncoding

string

参数解释：

响应中的Content-Encoding头

ContentLanguage

string

参数解释：

响应中的Content-Language头

ContentType

string

参数解释：

对象的MIME类型。

Expires

string

参数解释：

响应中的Expires头。

ETag

string

参数解释：

对象的ETag值。

VersionId

string

参数解释：

对象的版本号。

WebsiteRedirectLocation

string

参数解释：

当桶设置了Website配置，该参数指明对象的重定向地址。

StorageClass

string

参数解释：

对象的存储类型，当对象存储类型是标准存储时，该值为空。

Restore

string

参数解释：

归档存储类型对象的恢复状态。

Expiration

string

参数解释：

对象的详细过期信息。

Metadata

object

参数解释：

对象自定义元数据。需要在桶的CORS配置中增加允许响应中可返回的附加头域。例如，新增x-amz-meta-property1以获取自定义元数据property1。

SseKms

string

参数解释：

表示服务端加密是SSE-KMS方式。对象使用SSE-KMS方式加密。

SseKmsKey

string

参数解释：

SSE-KMS加密方式下使用的KMS主密钥的ID值。

SseC

string

参数解释：

表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。

SseCKeyMd5

string

参数解释：

SSE-C方式下加密使用密钥的MD5值，该值用于验证密钥传输过程中是否出错。

约束限制：

由密钥值经过MD5加密再经过Base64编码后得到，示例：4XvB3tbNTN+tIEVa0/fGaQ==

代码示例

本示例用于断点下载examplebucket桶中的example/objectname对象。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
 
// 引入obs库
// 使用npm安装
const ObsClient = require("esdk-obs-nodejs");
// 使用源码安装
// var ObsClient = require('./lib/obs');

// 创建ObsClient实例
const obsClient = new ObsClient({
  // 推荐通过环境变量获取AKSK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险
  // 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/intl/zh-cn/usermanual-ca/ca_01_0003.html
  access_key_id: process.env.ACCESS_KEY_ID,
  secret_access_key: process.env.SECRET_ACCESS_KEY,
  // 【可选】如果使用临时AK/SK和SecurityToken访问OBS，同样建议您尽量避免使用硬编码，以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK，也可以使用其他外部引入方式传入
  // security_token: process.env.SECURITY_TOKEN,
  // endpoint填写Bucket对应的Endpoint, 这里以中国-香港为例，其他地区请按实际情况填写
  server: "https://obs.ap-southeast-1.myhuaweicloud.com"
});

async function downloadFile() {
  try {
    const params = {
      // 指定存储桶名称
      Bucket: 'examplebucket',
      // 指定对象名，此处以 example/objectname 为例
      Key: 'example/objectname',
      // 指定下载对象的本地文件全路径，此处以/tmp/objectname为例。当该值为空时，默认为当前程序的运行目录
      DownloadFile: 'localfile',
      // 指定是否开启断点续传模式，此处以true为例。默认为false，表示不开启
      EnableCheckpoint: true,
      // 指定分段大小，单位字节。此处以每段9M为例
      PartSize: 9 * 1024 * 1024,
      // 指定分段下载时的最大并发数，此处以并发数5为例
      TaskNum: 5
    };
    // 断点续传下载对象
    const result = await obsClient.downloadFile(params);
    if (result.CommonMsg.Status <= 300) {
      console.log("Download file(%s) under the bucket(%s) successful!", params.Key, params.Bucket);
      console.log("RequestId: %s", result.CommonMsg.RequestId);
      console.log("StorageClass:%s, ETag:%s, ContentType:%s, ContentLength:%d, LastModified:%s",
        result.InterfaceResult.StorageClass, result.InterfaceResult.ETag, result.InterfaceResult.ContentType,
        result.InterfaceResult.ContentLength, result.InterfaceResult.LastModified,
      );
      return;
    };
    console.log("An ObsError was found, which means your request sent to OBS was rejected with an error response.");
    console.log("Status: %d", result.CommonMsg.Status);
    console.log("Code: %s", result.CommonMsg.Code);
    console.log("Message: %s", result.CommonMsg.Message);
    console.log("RequestId: %s", result.CommonMsg.RequestId);
  } catch (error) {
    console.log("An Exception was found, which means the client encountered an internal problem when attempting to communicate with OBS, for example, the client was unable to access the network.");
    console.log(error);
  };
};

downloadFile();