断点续传上传(Node.js SDK)
开发过程中,您有任何问题可以在github上提交issue。
功能说明
断点续传上传接口是利用分段上传特性实现的,是对分段上传的封装和加强,解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。
当上传大文件时,经常出现因网络不稳定或程序崩溃导致上传失败的情况。失败后再次重新上传不仅浪费资源,而且当网络不稳定时仍然有上传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败,其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录在checkpoint文件中,仅当所有分段都上传成功时返回上传成功的结果,否则在回调函数中返回错误码提醒用户再次调用接口进行重新上传(重新上传时因为有checkpoint文件记录当前的上传进度,避免重新上传所有分段,从而节省资源提高效率)。
断点续传上传接口不仅能在失败重传时节省资源提高效率,还因其对分段进行并发上传的机制能加快上传速度,能帮助用户快速完成上传业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发上传的实现等内部细节。
接口约束
断点续传上传接口传入的文件总大小至少要100K以上。
方法定义
ObsClient.uploadFile(params)
请求参数
参数名称 |
类型 |
是否必选 |
说明 |
---|---|---|---|
Bucket |
string |
必选 |
参数解释: 桶名。 约束限制:
取值范围: 长度为3~63个字符。 默认取值: 无 |
Key |
string |
必选 |
参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.ap-southeast-1.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 约束限制: 无 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 |
UploadFile |
string |
可选 |
参数解释: 待上传对象的源文件路径。 约束限制: 无 取值范围: 无 默认取值: 无 |
PartSize |
number |
可选 |
参数解释: 当前段的长度。 约束限制: 无 取值范围: 100KB~5GB,单位:字节。 默认取值: 102400字节 |
TaskNum |
number |
可选 |
参数解释: 分段上传时的最大并发数。 约束限制: 无 取值范围: 1~10000 默认取值: 1,即不设置则默认串行上传。 |
ProgressCallback |
function |
可选 |
参数解释: 获取上传进度的回调函数。
说明:
该回调函数依次包含三个参数:已上传的字节数、总字节数、已使用的时间(单位:秒)。 约束限制: 无 取值范围: 无 默认取值: 无 |
ResumeCallback |
function |
可选 |
参数解释: 获取取消断点续传控制参数的回调函数。 约束限制: 无 取值范围: 无 默认取值: 无
说明:
|
EnableCheckpoint |
boolean |
可选 |
参数解释: 是否开启断点续传模式。 约束限制: 无 取值范围:
默认取值: false |
CheckpointFile |
string |
可选 |
参数解释: 断点续传过程中,会生成一个进度记录文件,文件中会记录段的上传进度和段的相关信息。checkpointFile参数为该记录文件的文件路径。 约束限制: 仅在断点续传模式下有效。 取值范围: 无 默认取值: 当该值为空时,默认为待上传的本地文件的同级目录。 |
EnableCheckSum |
boolean |
可选 |
参数解释: 是否校验待上传文件的内容,如果开启该参数,会在每次任务重新开始前对待上传文件进行校验,验证是否与任务初始化时使用文件为同一文件。 约束限制: 仅在断点续传模式下有效。 取值范围:
默认取值: false |
ContentType |
string |
可选 |
参数解释: 待上传对象的文件类型(MIME类型)。Content-Type(MIME)用于标识发送或接收数据的类型,浏览器根据该参数来决定数据的打开方式。 约束限制: 无 取值范围: 常见的Content-Type(MIME)列表参见如何理解Content-Type(MIME)(Node.js SDK) 默认取值: 如果您在上传Object时未指定Content-Type,SDK会根据指定Object名称的后缀名来判定文件类型并自动填充Content-Type。 |
ACL |
可选 |
参数解释: 创建对象时可指定的预定义访问策略,有关访问控制列表(Access Control List,ACL)功能的详细信息可参见ACL功能介绍。 约束限制: 无 取值范围: 可选择的访问策略选项参见AclType。 默认取值: 无 |
|
WebsiteRedirectLocation |
string |
可选 |
参数解释: 当桶设置了Website配置,可以将获取这个对象的请求重定向到桶内另一个对象或一个外部的URL。 例如,重定向请求到桶内另一对象: WebsiteRedirectLocation:/anotherPage.html 或重定向请求到一个外部URL: WebsiteRedirectLocation:http://www.example.com/ OBS将这个值从头域中取出,保存在对象的元数据“WebsiteRedirectLocation”中。 约束限制:
取值范围: 无 默认取值: 无 |
SseKmsKey |
string |
可选 |
参数解释: SSE-KMS加密方式下使用的KMS主密钥的ID值。 约束限制: 有效值支持两种格式:
其中:
取值范围: 无 默认取值:
|
SseC |
string |
当使用SSE-C方式时,必选 |
参数解释: 表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。 约束限制: 仅支持AES256。 取值范围: 可选值:AES256,即选择SSE-C方式加密对象。 默认取值: 无 |
SseCKey |
string |
作为请求参数时必选 |
参数解释: SSE-C方式下加密使用的密钥,该密钥用于加密对象。 约束限制: 该头域由256bit的密钥经过Base64编码得到,示例:K7QkYpBkM5+hca27fsNkUnNVaobncnLht/rCB2o/9Cw= 取值范围: 无 默认取值: 无 |
Metadata |
object |
可选 |
参数解释: 待上传对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制:
取值范围: 无 默认取值: 无 |
常量名 |
原始值 |
说明 |
---|---|---|
ObsClient.enums.AclPrivate |
private |
私有读写。 桶或对象的所有者拥有完全控制的权限,其他任何人都没有访问权限。 |
ObsClient.enums.AclPublicRead |
public-read |
公共读私有写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。 设在对象上,所有人可以获取该对象内容和元数据。 |
ObsClient.enums.AclPublicReadWrite |
public-read-write |
公共读写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本、上传对象、删除对象、初始化段任务、上传段、合并段、复制段、取消多段上传任务。 设在对象上,所有人可以获取该对象内容和元数据。 |
ObsClient.enums.AclPublicReadDelivered |
public-read-delivered |
桶公共读,桶内对象公共读。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本,可以获取该桶内对象的内容和元数据。
说明:
AclPublicReadDelivered不能应用于对象。 |
ObsClient.enums.AclPublicReadWriteDelivered |
public-read-write-delivered |
桶公共读写,桶内对象公共读写。 设在桶上,所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本、上传对象、删除对象、初始化段任务、上传段、合并段、复制段、取消多段上传任务,可以获取该桶内对象的内容和元数据。
说明:
AclPublicReadWriteDelivered不能应用于对象。 |
ObsClient.enums.AclBucketOwnerFullControl |
bucket-owner-full-control |
设在对象上,桶和对象的所有者拥有对象的完全控制权限,其他任何人都没有访问权限。 默认情况下,上传对象至其他用户的桶中,桶拥有者没有对象的控制权限。对象拥有者为桶拥有者添加此权限控制策略后,桶所有者可以完全控制对象。例如,用户A上传对象x至用户B的桶中,系统默认用户B没有对象x的控制权。当用户A为对象x设置bucket-owner-full-control策略后,用户B就拥有了对象x的控制权。 |
返回结果
参数名称 |
参数类型 |
描述 |
---|---|---|
CommonMsg |
参数解释: 接口调用完成后的公共信息,包含HTTP状态码,操作失败的错误码等,详见ICommonMsg。 |
|
InterfaceResult |
参数解释: 操作成功后的结果数据,详见表6。 约束限制: 当Status大于300时为空。 |
参数名称 |
参数类型 |
描述 |
Status |
number |
参数解释: OBS服务端返回的HTTP状态码。 取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 |
Code |
string |
参数解释: OBS服务端返回的错误码。 |
Message |
string |
参数解释: OBS服务端返回的错误描述。 |
HostId |
string |
参数解释: OBS服务端返回的请求服务端ID。 |
RequestId |
string |
参数解释: OBS服务端返回的请求ID。 |
Id2 |
string |
参数解释: OBS服务端返回的请求ID2。 |
Indicator |
string |
参数解释: OBS服务端返回的详细错误码。 |
参数名称 |
参数类型 |
描述 |
---|---|---|
RequestId |
string |
参数解释: OBS服务端返回的请求ID。 |
ETag |
string |
参数解释: 合并段后根据各个段的ETag值计算出的结果。对象的base64编码的128位MD5摘要。ETag是对象内容的唯一标识,可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A,下载对象时ETag为B,则说明对象内容发生了变化。ETag只反映变化的内容,而不是其元数据。上传的对象或复制操作创建的对象,都有唯一的ETag。 约束限制: 当对象是服务端加密的对象时,ETag值不是对象的MD5值。 |
Bucket |
string |
参数解释: 合并段所在的桶名。 |
Key |
string |
参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.ap-southeast-1.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 |
Location |
string |
参数解释: 合并段后得到的对象的url。 例如:https://example-Bucket.obs.regions.myhuaweicloud.com/example-Object |
VersionId |
string |
参数解释: 合并段后得到的对象版本号。如果桶的多版本状态为开启,则会返回对象的版本号。 |
SseKms |
string |
参数解释: 表示服务端加密是SSE-KMS方式。对象使用SSE-KMS方式加密。 |
SseKmsKey |
string |
参数解释: SSE-KMS加密方式下使用的KMS主密钥的ID值。 |
SseC |
string |
参数解释: 表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。 |
SseCKeyMd5 |
string |
参数解释: SSE-C方式下加密使用密钥的MD5值,该值用于验证密钥传输过程中是否出错。 约束限制: 由密钥值经过MD5加密再经过Base64编码后得到,示例:4XvB3tbNTN+tIEVa0/fGaQ== |
代码示例
本示例用于断点上传example/objectname对象到examplebucket桶中。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 |
// 引入obs库 // 使用npm安装 const ObsClient = require("esdk-obs-nodejs"); // 使用源码安装 // var ObsClient = require('./lib/obs'); // 创建ObsClient实例 const obsClient = new ObsClient({ // 推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/intl/zh-cn/usermanual-ca/ca_01_0003.html access_key_id: process.env.ACCESS_KEY_ID, secret_access_key: process.env.SECRET_ACCESS_KEY, // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入 // security_token: process.env.SECURITY_TOKEN, // endpoint填写Bucket对应的Endpoint, 这里以中国-香港为例,其他地区请按实际情况填写 server: "https://obs.ap-southeast-1.myhuaweicloud.com" }); async function uploadFile() { try { const params = { // 指定存储桶名称 Bucket: 'examplebucket', // 指定上传对象,此处以 example/objectname 为例 Key: 'example/objectname', // 指定待上传的本地文件,此处以/tmp/objectname为例 UploadFile: 'localfile', // 指定是否开启断点续传模式,此处以true为例。默认为false,表示不开启 EnableCheckpoint: true, // 指定分段大小,单位字节。此处以每段9M为例 PartSize: 9 * 1024 * 1024, // 指定分段下载时的最大并发数,此处以并发数5为例 TaskNum: 5 }; // 断点续传上传对象 const result = await obsClient.uploadFile(params); if (result.CommonMsg.Status <= 300) { console.log("Upload file(%s) under the bucket(%s) successful!", params.Key, params.Bucket); console.log("RequestId: %s", result.CommonMsg.RequestId); fmt.Printf("ETag:%s\n", result.InterfaceResult.ETag) return; }; console.log("An ObsError was found, which means your request sent to OBS was rejected with an error response."); console.log("Status: %d", result.CommonMsg.Status); console.log("Code: %s", result.CommonMsg.Code); console.log("Message: %s", result.CommonMsg.Message); console.log("RequestId: %s", result.CommonMsg.RequestId); } catch (error) { console.log("An Exception was found, which means the client encountered an internal problem when attempting to communicate with OBS, for example, the client was unable to access the network."); console.log(error); }; }; uploadFile(); |