更新时间:2024-11-13 GMT+08:00

断点续传上传(Node.js SDK)

开发过程中,您有任何问题可以在github上提交issue

功能说明

断点续传上传接口是利用分段上传特性实现的,是对分段上传的封装和加强,解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。

当上传大文件时,经常出现因网络不稳定或程序崩溃导致上传失败的情况。失败后再次重新上传不仅浪费资源,而且当网络不稳定时仍然有上传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败,其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录在checkpoint文件中,仅当所有分段都上传成功时返回上传成功的结果,否则在回调函数中返回错误码提醒用户再次调用接口进行重新上传(重新上传时因为有checkpoint文件记录当前的上传进度,避免重新上传所有分段,从而节省资源提高效率)。

断点续传上传接口不仅能在失败重传时节省资源提高效率,还因其对分段进行并发上传的机制能加快上传速度,能帮助用户快速完成上传业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发上传的实现等内部细节。

接口约束

断点续传上传接口传入的文件总大小至少要100K以上。

方法定义

ObsClient.uploadFile(params)

请求参数

表1 请求参数列表

参数名称

类型

是否必选

说明

Bucket

string

必选

参数解释

桶名。

约束限制:

  • 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。
  • 桶命名规则如下:
    • 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻(如:“my..bucket”)。
    • 禁止“.”和“-”相邻(如:“my-.bucket”和“my.-bucket”)。
  • 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。

取值范围:

长度为3~63个字符。

默认取值:

Key

string

必选

参数解释:

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。

例如,您对象的访问地址为examplebucket.obs.ap-southeast-1.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。

约束限制:

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

UploadFile

string

可选

参数解释:

待上传对象的源文件路径。

约束限制:

取值范围:

默认取值:

PartSize

number

可选

参数解释:

当前段的长度。

约束限制:

取值范围:

100KB~5GB,单位:字节。

默认取值:

102400字节

TaskNum

number

可选

参数解释:

分段上传时的最大并发数。

约束限制:

取值范围:

1~10000

默认取值:

1,即不设置则默认串行上传。

ProgressCallback

function

可选

参数解释:

获取上传进度的回调函数。

说明:

该回调函数依次包含三个参数:已上传的字节数、总字节数、已使用的时间(单位:秒)。

约束限制:

取值范围:

默认取值:

ResumeCallback

function

可选

参数解释:

获取取消断点续传控制参数的回调函数。

约束限制:

取值范围:

默认取值:

说明:
  • 该回调函数有一个参数:取消断点续传上传任务控制参数,该参数有暂停断点续传上传任务和取消断点续传上传任务两个方法;
  • 可以调用取消断点续传上传任务控制参数的cancel方法来暂停断点续传上传任务。
  • 可以调用取消断点续传上传任务控制参数的abort方法来取消断点续传上传任务。

EnableCheckpoint

boolean

可选

参数解释:

是否开启断点续传模式。

约束限制:

取值范围:

  • true:开启断点续传模式。
  • false:关闭断点续传模式,此时断点续传上传接口退化成对分段上传的简单封装,不会产生checkpoint文件。

默认取值:

false

CheckpointFile

string

可选

参数解释:

断点续传过程中,会生成一个进度记录文件,文件中会记录段的上传进度和段的相关信息。checkpointFile参数为该记录文件的文件路径。

约束限制:

仅在断点续传模式下有效。

取值范围:

默认取值:

当该值为空时,默认为待上传的本地文件的同级目录。

EnableCheckSum

boolean

可选

参数解释:

是否校验待上传文件的内容,如果开启该参数,会在每次任务重新开始前对待上传文件进行校验,验证是否与任务初始化时使用文件为同一文件。

约束限制:

仅在断点续传模式下有效。

取值范围:

  • true:校验待上传文件的内容。
  • false:不校验待上传文件的内容。

默认取值:

false

ContentType

string

可选

参数解释:

待上传对象的文件类型(MIME类型)。Content-Type(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式。

约束限制:

取值范围:

常见的Content-Type(MIME)列表参见如何理解Content-Type(MIME)(Node.js SDK)

默认取值:

如果您在上传Object时未指定Content-Type,SDK会根据指定Object名称的后缀名来判定文件类型并自动填充Content-Type。

ACL

AclType

可选

参数解释

创建对象时可指定的预定义访问策略,有关访问控制列表(Access Control List,ACL)功能的详细信息可参见ACL功能介绍

约束限制:

取值范围:

可选择的访问策略选项参见AclType

默认取值:

WebsiteRedirectLocation

string

可选

参数解释:

当桶设置了Website配置,可以将获取这个对象的请求重定向到桶内另一个对象或一个外部的URL。

例如,重定向请求到桶内另一对象:

WebsiteRedirectLocation:/anotherPage.html

或重定向请求到一个外部URL:

WebsiteRedirectLocation:http://www.example.com/

OBS将这个值从头域中取出,保存在对象的元数据“WebsiteRedirectLocation”中。

约束限制:

  • 必须以“/”、“http://”或“https://”开头,长度不超过2KB。
  • OBS仅支持为桶根目录下的对象设置重定向,不支持为桶中文件夹下的对象设置重定向。

取值范围:

默认取值:

SseKmsKey

string

可选

参数解释:

SSE-KMS加密方式下使用的KMS主密钥的ID值。

约束限制:

有效值支持两种格式:

  1. regionID:domainID(账号ID):key/key_id
  2. key_id

其中:

取值范围:

默认取值:

  • 如果用户没有提供该头域,那么默认的主密钥将会被使用。
  • 如果默认主密钥不存在,将默认创建并使用。

SseC

string

当使用SSE-C方式时,必选

参数解释:

表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。

约束限制:

仅支持AES256。

取值范围:

可选值:AES256,即选择SSE-C方式加密对象。

默认取值:

SseCKey

string

作为请求参数时必选

参数解释:

SSE-C方式下加密使用的密钥,该密钥用于加密对象。

约束限制:

该头域由256bit的密钥经过Base64编码得到,示例:K7QkYpBkM5+hca27fsNkUnNVaobncnLht/rCB2o/9Cw=

取值范围:

默认取值:

Metadata

object

可选

参数解释:

待上传对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。

约束限制:

  • 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8 编码中的字节总数。
  • 自定义元数据的key值不区分大小写,OBS统一转为小写进行存储。value值区分大小写。
  • 自定义元数据key-value对都必须符合US-ASCII。如果一定要使用非ASCII码或不可识别字符,需要客户端自行做编解码处理,可以采用URL编码或者Base64编码,服务端不会做解码处理。

取值范围:

默认取值:

表2 AclType

常量名

原始值

说明

ObsClient.enums.AclPrivate

private

私有读写。

桶或对象的所有者拥有完全控制的权限,其他任何人都没有访问权限。

ObsClient.enums.AclPublicRead

public-read

公共读私有写。

设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。

设在对象上,所有人可以获取该对象内容和元数据。

ObsClient.enums.AclPublicReadWrite

public-read-write

公共读写。

设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本、上传对象、删除对象、初始化段任务、上传段、合并段、复制段、取消多段上传任务。

设在对象上,所有人可以获取该对象内容和元数据。

ObsClient.enums.AclPublicReadDelivered

public-read-delivered

桶公共读,桶内对象公共读。

设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本,可以获取该桶内对象的内容和元数据。

说明:

AclPublicReadDelivered不能应用于对象。

ObsClient.enums.AclPublicReadWriteDelivered

public-read-write-delivered

桶公共读写,桶内对象公共读写。

设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本、上传对象、删除对象、初始化段任务、上传段、合并段、复制段、取消多段上传任务,可以获取该桶内对象的内容和元数据。

说明:

AclPublicReadWriteDelivered不能应用于对象。

ObsClient.enums.AclBucketOwnerFullControl

bucket-owner-full-control

设在对象上,桶和对象的所有者拥有对象的完全控制权限,其他任何人都没有访问权限。

默认情况下,上传对象至其他用户的桶中,桶拥有者没有对象的控制权限。对象拥有者为桶拥有者添加此权限控制策略后,桶所有者可以完全控制对象。例如,用户A上传对象x至用户B的桶中,系统默认用户B没有对象x的控制权。当用户A为对象x设置bucket-owner-full-control策略后,用户B就拥有了对象x的控制权。

返回结果

表3 返回结果

参数类型

描述

表4

说明:

该接口返回是一个Promise类型,需要使用Promise、async/await语法处理。

参数解释:

接口返回信息,详见表4

表4 Response

参数名称

参数类型

描述

CommonMsg

ICommonMsg

参数解释:

接口调用完成后的公共信息,包含HTTP状态码,操作失败的错误码等,详见ICommonMsg

InterfaceResult

表6

参数解释:

操作成功后的结果数据,详见表6

约束限制

当Status大于300时为空。

表5 ICommonMsg

参数名称

参数类型

描述

Status

number

参数解释:

OBS服务端返回的HTTP状态码。

取值范围:

状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码

Code

string

参数解释:

OBS服务端返回的错误码。

Message

string

参数解释:

OBS服务端返回的错误描述。

HostId

string

参数解释:

OBS服务端返回的请求服务端ID。

RequestId

string

参数解释:

OBS服务端返回的请求ID。

Id2

string

参数解释:

OBS服务端返回的请求ID2。

Indicator

string

参数解释:

OBS服务端返回的详细错误码。

表6 UploadFileOutput

参数名称

参数类型

描述

RequestId

string

参数解释:

OBS服务端返回的请求ID。

ETag

string

参数解释:

合并段后根据各个段的ETag值计算出的结果。对象的base64编码的128位MD5摘要。ETag是对象内容的唯一标识,可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A,下载对象时ETag为B,则说明对象内容发生了变化。ETag只反映变化的内容,而不是其元数据。上传的对象或复制操作创建的对象,都有唯一的ETag。

约束限制:

当对象是服务端加密的对象时,ETag值不是对象的MD5值。

Bucket

string

参数解释

合并段所在的桶名。

Key

string

参数解释:

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。

例如,您对象的访问地址为examplebucket.obs.ap-southeast-1.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。

Location

string

参数解释:

合并段后得到的对象的url。

例如:https://example-Bucket.obs.regions.myhuaweicloud.com/example-Object

VersionId

string

参数解释:

合并段后得到的对象版本号。如果桶的多版本状态为开启,则会返回对象的版本号。

SseKms

string

参数解释:

表示服务端加密是SSE-KMS方式。对象使用SSE-KMS方式加密。

SseKmsKey

string

参数解释:

SSE-KMS加密方式下使用的KMS主密钥的ID值。

SseC

string

参数解释:

表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。

SseCKeyMd5

string

参数解释:

SSE-C方式下加密使用密钥的MD5值,该值用于验证密钥传输过程中是否出错。

约束限制:

由密钥值经过MD5加密再经过Base64编码后得到,示例:4XvB3tbNTN+tIEVa0/fGaQ==

代码示例

本示例用于断点上传example/objectname对象到examplebucket桶中。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
// 引入obs库
// 使用npm安装
const ObsClient = require("esdk-obs-nodejs");
// 使用源码安装
// var ObsClient = require('./lib/obs');

// 创建ObsClient实例
const obsClient = new ObsClient({
  // 推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险
  // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/intl/zh-cn/usermanual-ca/ca_01_0003.html
  access_key_id: process.env.ACCESS_KEY_ID,
  secret_access_key: process.env.SECRET_ACCESS_KEY,
  // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入
  // security_token: process.env.SECURITY_TOKEN,
  // endpoint填写Bucket对应的Endpoint, 这里以中国-香港为例,其他地区请按实际情况填写
  server: "https://obs.ap-southeast-1.myhuaweicloud.com"
});

async function uploadFile() {
  try {
    const params = {
      // 指定存储桶名称
      Bucket: 'examplebucket',
      // 指定上传对象,此处以 example/objectname 为例
      Key: 'example/objectname',
      // 指定待上传的本地文件,此处以/tmp/objectname为例
      UploadFile: 'localfile',
      // 指定是否开启断点续传模式,此处以true为例。默认为false,表示不开启
      EnableCheckpoint: true,
      // 指定分段大小,单位字节。此处以每段9M为例
      PartSize: 9 * 1024 * 1024,
      // 指定分段下载时的最大并发数,此处以并发数5为例
      TaskNum: 5
    };
    // 断点续传上传对象
    const result = await obsClient.uploadFile(params);
    if (result.CommonMsg.Status <= 300) {
      console.log("Upload file(%s) under the bucket(%s) successful!", params.Key, params.Bucket);
      console.log("RequestId: %s", result.CommonMsg.RequestId);
      fmt.Printf("ETag:%s\n", result.InterfaceResult.ETag)
      return;
    };
    console.log("An ObsError was found, which means your request sent to OBS was rejected with an error response.");
    console.log("Status: %d", result.CommonMsg.Status);
    console.log("Code: %s", result.CommonMsg.Code);
    console.log("Message: %s", result.CommonMsg.Message);
    console.log("RequestId: %s", result.CommonMsg.RequestId);
  } catch (error) {
    console.log("An Exception was found, which means the client encountered an internal problem when attempting to communicate with OBS, for example, the client was unable to access the network.");
    console.log(error);
  };
};

uploadFile();