更新时间:2023-02-21 GMT+08:00

利用obsutil进行断点续传

obsutil在上传、下载和复制大文件时通过分段上传/下载/复制算法,可支持断点续传。您可根据具体的场景设置开启分段任务的阈值以实现上传/下载/复制任务失败或中断后的续传。您可通过两种方式指定开启分段任务的阈值:

方法一

指定配置文件中的配置参数:defaultBigfileThreshold,详情请参见配置参数说明

方法二

在运行上传下载复制增量同步上传增量同步下载增量同步复制时指定命令级参数:threshold。

例如:obsutil cp d:\temp\test.txt obs://bucket-test/key -threshold=52428800

其中

  • obsutil cp d:\temp\test.txt obs://bucket-test/key可以将D盘temp路径下名为test.txt的文件上传至bucket-test桶中,并且重命名为key。
  • 设置-threshold=52428800启动分段任务算法,设置分段任务的阈值为50MB。
以Windows操作系统为例,示例如下:
obsutil cp d:\temp\test.txt obs://bucket-test/key -threshold=52428800

Parallel:      3                   Jobs:          3
Threshold:     50.00MB             PartSize:      auto
Exclude:                           Include:
VerifyLength:  false               VerifyMd5:     false
CheckpointDir: xxxx

[====================================================] 100.00% 1.68 MB/s 5s
Upload successfully, 8.46MB, d:\temp\test.txt --> obs://bucket-test/key

  • 优先级:命令级参数threshold > 配置文件参数defaultBigfileThreshold。
  • 分段任务的阈值作用于单个文件/对象,如果文件/对象的大小大于该阈值才会对该文件/对象应用分段任务算法。
  • 分段任务算法和断点续传是强制绑定关系,即一旦使用分段任务算法就相当于对该次任务启动了断点续传模式。