断点续传上传
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。
当上传大文件时,经常出现因网络不稳定或程序崩溃导致上传失败的情况。失败后再次重新上传不仅浪费资源,而且当网络不稳定时仍然有上传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败,其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录在checkpoint文件中,仅当所有分段都上传成功时返回上传成功的结果,否则抛出异常提醒用户再次调用接口进行重新上传(重新上传时因为有checkpoint文件记录当前的上传进度,避免重新上传所有分段,从而节省资源提高效率)。
您可以通过ObsClient.UploadFile进行断点续传上传。该接口可设置的主要参数如下:
|
参数 |
作用 |
OBS .NET SDK对应属性 |
|---|---|---|
|
BucketName |
桶名,必选参数。 |
UploadFileRequest.BucketName |
|
ObjectKey |
对象名,必选参数。 |
UploadFileRequest.ObjectKey |
|
UploadFile |
待上传的本地文件路径,必选参数。 |
UploadFileRequest.UploadFile |
|
UploadPartSize |
分段大小,单位字节,取值范围是5MB~5GB,默认为5MB。 |
UploadFileRequest.UploadPartSize |
|
EnableCheckpoint |
是否开启断点续传模式,默认为false,表示不开启。 |
UploadFileRequest.EnableCheckpoint |
|
CheckpointFile |
记录上传进度的文件,只在断点续传模式下有效。当该值为空时,默认与待上传的本地文件同目录。 |
UploadFileRequest.CheckpointFile |
|
Metadata |
对象自定义元数据。 |
UploadFileRequest.Metadata |
|
EnableCheckSum |
是否校验待上传文件的内容,只在断点续传模式下有效。默认为false,表示不校验。 |
UploadFileRequest.EnableCheckSum |
|
TaskNum |
分段上传时的最大并发数,默认为1。 |
UploadFileRequest.TaskNum |
|
UploadProgress |
上传进度回调函数。 |
UploadFileRequest.UploadProgress |
|
ProgressType |
上传进度反馈方式。 |
UploadFileRequest.ProgressType |
|
ProgressInterval |
上传进度反馈间隔。 |
UploadFileRequest.ProgressInterval |
|
UploadEventHandler |
上传事件回调函数。 |
UploadFileRequest.UploadEventHandler |
以下代码展示了如何使用断点续传上传接口上传文件:
// 初始化配置参数
ObsConfig config = new ObsConfig();
config.Endpoint = "https://your-endpoint";
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量AccessKeyID和SecretAccessKey。
// 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string accessKey= Environment.GetEnvironmentVariable("AccessKeyID", EnvironmentVariableTarget.Machine);
string secretKey= Environment.GetEnvironmentVariable("SecretAccessKey", EnvironmentVariableTarget.Machine);
// 创建ObsClient实例
ObsClient client = new ObsClient(accessKey, secretKey, config);
// 断点续传上传文件
try
{
UploadFileRequest request = new UploadFileRequest
{
BucketName = "bucketname",
ObjectKey = "objectname",
// 待上传的本地文件路径
UploadFile = "localpath",
// 上传段大小为10MB
UploadPartSize = 10 * 1024 * 1024,
// 开启断点续传模式
EnableCheckpoint = true,
};
// 以传输字节数为基准反馈上传进度
request.ProgressType = ProgressTypeEnum.ByBytes;
// 每上传1MB数据反馈上传进度
request.ProgressInterval = 1024 * 1024;
// 注册上传进度回调函数
request.UploadProgress += delegate(object sender, TransferStatus status){
// 获取上传平均速率
Console.WriteLine("AverageSpeed: {0}", status.AverageSpeed / 1024 + "KB/S");
// 获取上传进度百分比
Console.WriteLine("TransferPercentage: {0}", status.TransferPercentage);
};
// 注册上传事件回调函数
request.UploadEventHandler += delegate(object sender, ResumableUploadEvent e){
// 获取上传事件
Console.WriteLine("EventType: {0}", e.EventType);
};
CompleteMultipartUploadResponse response = client.UploadFile(request);
Console.WriteLine("Upload File response: {0}", response.StatusCode);
}
catch (ObsException ex)
{
Console.WriteLine("ErrorCode: {0}", ex.ErrorCode);
Console.WriteLine("ErrorMessage: {0}", ex.ErrorMessage);
}
- 断点续传上传接口是利用分段上传特性实现的,是对分段上传的封装和加强。
- 断点续传上传接口不仅能在失败重传时节省资源提高效率,还因其对分段进行并发上传的机制能加快上传速度,帮助用户快速完成上传业务;且其对用户透明,用户不用关心CheckpointFile文件的创建和删除、分段任务的切分、并发上传的实现等内部细节。
- EnableCheckpoint参数默认是false,代表不启用断点续传模式,此时断点续传上传接口退化成对分段上传的简单封装,不会产生CheckpointFile文件。
- CheckpointFile参数和EnableCheckSum参数仅在EnableCheckpoint参数为true时有效。