更新时间:2023-11-08 GMT+08:00
分享

断点续传下载

开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。

当下载大对象到本地文件时,经常出现因网络不稳定或程序崩溃导致下载失败的情况。失败后再次重新下载不仅浪费资源,而且当网络不稳定时仍然有下载失败的风险。断点续传下载接口能有效地解决此类问题引起的下载失败,其原理是将待下载的对象分成若干个分段分别下载,并实时地将每段下载结果统一记录在checkpoint文件中,仅当所有分段都下载成功时返回下载成功的结果,否则在回调函数中返回错误码提醒用户再次调用接口进行重新下载(重新下载时因为有checkpoint文件记录当前的下载进度,避免重新下载所有分段,从而节省资源提高效率)。

您可以通过ObsClient.downloadFile进行断点续传下载。该接口可设置的主要参数如下:

参数

作用

Bucket

桶名,必选参数。

Key

对象名,必选参数。

DownloadFile

下载对象的本地文件全路径。当该值为空时,默认为当前程序的运行目录。

PartSize

分段大小,单位字节,取值范围是100KB~5GB,默认为5MB。

TaskNum

分段下载时的最大并发数,默认为20。

EnableCheckpoint

是否开启断点续传模式,默认为false,表示不开启。

CheckpointFile

记录下载进度的文件,只在断点续传模式下有效。当该值为空时,默认与下载对象的本地文件路径同目录。

VersionId

对象的版本号。

IfModifiedSince

如果对象的修改时间晚于该参数值指定的时间,则返回对象内容,否则返回异常码。

IfUnmodifiedSince

如果对象的修改时间早于该参数值指定的时间,则返回对象内容,否则返回异常码。

IfMatch

如果对象的ETag值与该参数值相同,则返回对象内容,否则返回异常码。

IfNoneMatch

如果对象的ETag值与该参数值不相同,则返回对象内容,否则返回异常码。

以下代码展示了如何使用断点续传下载接口下载对象到本地文件:

// 引入obs库
// 使用npm安装
var ObsClient = require('esdk-obs-nodejs');
// 使用源码安装
// var ObsClient = require('./lib/obs');

// 创建ObsClient实例
var obsClient = new ObsClient({
       //推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险。
       //您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
       access_key_id: process.env.ACCESS_KEY_ID,
       secret_access_key: process.env.SECRET_ACCESS_KEY,
       server : 'https://your-endpoint'
});

obsClient.downloadFile({
       Bucket : 'bucketname',
       Key : 'objectname',
       // 设置下载对象的本地文件路径
       DownloadFile : 'localfile',
       // 设置分段大小为10MB
       PartSize : 10 * 1024 * 1024,
       // 开启断点续传模式
       EnableCheckpoint : true
}, (err, result) => {
    if(err){
        console.error('Error-->' + err);
    }else{
        console.log('RequestId-->' + result.InterfaceResult.RequestId);
        console.log('LastModified-->' + result.InterfaceResult.LastModified);
        console.log('Metadata-->' + JSON.stringify(result.InterfaceResult.Metadata)); 
    }
});
  • 断点续传下载接口是利用范围下载特性实现的,是对范围下载的封装和加强。
  • 断点续传下载接口不仅能在失败重下时节省资源提高效率,还因其对分段进行并发下载的机制能加快下载速度,能帮助用户快速完成下载业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发下载的实现等内部细节。
  • EnableCheckpoint参数默认是false,代表不启用断点续传模式,此时断点续传下载接口退化成对范围下载的简单封装,不会产生checkpoint文件。
  • CheckpointFile参数仅在EnableCheckpoint参数为true时有效。
分享:

    相关文档

    相关产品