断点续传上传
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。
当上传大文件时,经常出现因网络不稳定或程序崩溃导致上传失败的情况。失败后再次重新上传不仅浪费资源,而且当网络不稳定时仍然有上传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败,其原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录在checkpoint文件中,仅当所有分段都上传成功时返回上传成功的结果,否则抛出异常提醒用户再次调用接口进行重新上传(重新上传时因为有checkpoint文件记录当前的上传进度,避免重新上传所有分段,从而节省资源提高效率)。
您可以通过upload_file进行断点续传上传。该接口可设置的参数如下:
参数描述
字段名 |
类型 |
约束 |
说明 |
---|---|---|---|
option |
请求桶的上下文,配置option |
必选 |
桶参数。 |
key |
char * |
必选 |
对象名。 |
upload_file_config |
obs_upload_file_configuration * |
必选 |
上传文件的配置说明,请参看下表。 |
encryption_params |
server_side_encryption_params * |
可选 |
上传对象加密设置。 |
handler |
obs_upload_file_response_handler * |
必选 |
回调结构体,所有成员都是回调函数的指针。 |
callback_data |
void * |
可选 |
回调数据。 |
上传文件结构obs_upload_file_configuration描述如下表:
成员名 |
类型 |
约束 |
说明 |
---|---|---|---|
upload_file |
char * |
必选 |
待上传的本地文件。 |
part_size |
uint64_t |
必选 |
分段大小,单位字节,取值范围是100KB~5GB,默认为5MB。 |
check_point_file |
char * |
必选 |
记录上传进度的文件,只在断点续传模式下有效。当该值为空时,默认与待上传的本地文件同目录。 |
enable_check_point |
int |
必选 |
是否开启断点续传模式,默认为0,表示不开启。 |
task_num |
int |
必选 |
分段上传时的最大并发数,默认为1。 |
示例代码
以下代码展示了如何使用断点续传上传接口上传文件:
void uploadFileResultCallback(obs_status status, char *resultMsg, int partCountReturn, obs_upload_file_part_info * uploadInfoList, void *callbackData); //回调函数声明 static void test_upload_file() { obs_status ret_status = OBS_STATUS_BUTT; // 创建并初始化option obs_options option; init_obs_options(&option); option.bucket_options.host_name = "<your-endpoint>"; option.bucket_options.bucket_name = "<Your bucketname>"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY。 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html option.bucket_options.access_key = getenv("ACCESS_KEY_ID"); option.bucket_options.secret_access_key = getenv("SECRET_ACCESS_KEY"); //初始化结构体put_properties obs_put_properties put_properties; init_put_properties(&put_properties); obs_upload_file_configuration uploadFileInfo; memset_s(&uploadFileInfo,sizeof(obs_upload_file_configuration),0,sizeof(obs_upload_file_configuration)); uploadFileInfo.check_point_file = 0; uploadFileInfo.enable_check_point = 1; uploadFileInfo.part_size = "<part size>"; uploadFileInfo.task_num = "<task num>"; uploadFileInfo.upload_file = "<upload filename>"; uploadFileInfo.put_properties = &put_properties; //回调函数 obs_upload_file_response_handler Handler = { {&response_properties_callback, &response_complete_callback_for_multi_task}, &uploadFileResultCallback }; initialize_break_point_lock(); upload_file(&option, "<Your Key>", 0, &uploadFileInfo, Null, &Handler, &ret_status); deinitialize_break_point_lock(); if (OBS_STATUS_OK == ret_status) { printf("test upload file successfully. \n"); } else { printf("test upload file faied(%s).\n", obs_get_status_name(ret_status)); } } //uploadFileResultCallback示例,printf语句可以替换为自定义的日志打印语句 void uploadFileResultCallback(obs_status status, char *resultMsg, int partCountReturn, obs_upload_file_part_info * uploadInfoList, void *callbackData) { int i=0; obs_upload_file_part_info * pstUploadInfoList = uploadInfoList; printf("status return is %d(%s)\n",status,obs_get_status_name(status)); printf("%s",resultMsg); printf("partCount[%d]\n",partCountReturn); for(i=0;i<partCountReturn;i++) { printf("partNum[%d],startByte[%llu],partSize[%llu],status[%d]\n", pstUploadInfoList->part_num, pstUploadInfoList->start_byte, pstUploadInfoList->part_size, pstUploadInfoList->status_return); pstUploadInfoList++; } if (callbackData) { obs_status* retStatus = (obs_status*)callbackData; (*retStatus) = status; } }
- 断点续传上传接口是利用分段上传特性实现的,是对分段上传的封装和加强。
- 断点续传上传接口不仅能在失败重传时节省资源提高效率,还因其对分段进行并发上传的机制能加快上传速度,帮助用户快速完成上传业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发上传的实现等内部细节。
- enable_check_point参数:0代表不启用断点续传模式,此时断点续传上传接口退化成对分段上传的简单封装,不会产生checkpoint文件,1代表启用断点续传模式。