文档首页/ 对象存储服务 OBS/ 工具指南/ obsutil/ 最佳实践/ 利用obsutil进行断点续传
更新时间：2024-12-11 GMT+08:00
查看PDF
分享

利用obsutil进行断点续传

obsutil在上传、下载和复制大文件时通过分段上传/下载/复制算法，可支持断点续传。您可根据具体的场景设置开启分段任务的阈值以实现上传/下载/复制任务失败或中断后的续传。您可通过两种方式指定开启分段任务的阈值：

方法一

指定配置文件中的配置参数：defaultBigfileThreshold，详情请参见配置参数说明。

方法二

在运行上传、下载、复制、增量同步上传、增量同步下载、增量同步复制时指定命令级参数：threshold。

例如：obsutil cp d:\temp\test.txt obs://bucket-test/key -threshold=52428800

其中

  • obsutil cp d:\temp\test.txt obs://bucket-test/key可以将D盘temp路径下名为test.txt的文件上传至bucket-test桶中，并且重命名为key。
  • 设置-threshold=52428800启动分段任务算法，设置分段任务的阈值为50MB。
以Windows操作系统为例，示例如下： 
obsutil cp d:\temp\test.txt obs://bucket-test/key -threshold=52428800

Parallel:      3                   Jobs:          3
Threshold:     50.00MB             PartSize:      auto
VerifyLength:  false               VerifyMd5:     false
CheckpointDir: xxxx

[====================================================] 100.00% 1.68 MB/s 5s
Upload successfully, 8.46MB, d:\temp\test.txt --> obs://bucket-test/key

  • 优先级：命令级参数threshold > 配置文件参数defaultBigfileThreshold。
  • 分段任务的阈值作用于单个文件/对象，如果文件/对象的大小大于该阈值才会对该文件/对象应用分段任务算法。
  • 分段任务算法和断点续传是强制绑定关系，即一旦使用分段任务算法就相当于对该次任务启动了断点续传模式。
父主题： 最佳实践

相关文档