更新时间:2023-03-16 GMT+08:00
利用obsutil进行断点续传
obsutil在上传、下载和复制大文件时通过分段上传/下载/复制算法,可支持断点续传。您可根据具体的场景设置开启分段任务的阈值以实现上传/下载/复制任务失败或中断后的续传。您可通过两种方式指定开启分段任务的阈值:
方法一
指定配置文件中的配置参数:defaultBigfileThreshold,详情请参见配置参数说明。
方法二
在运行上传、下载、复制、增量同步上传、增量同步下载、增量同步复制时指定命令级参数:threshold。
例如:obsutil cp d:\temp\test.txt obs://bucket-test/key -threshold=52428800
其中
- obsutil cp d:\temp\test.txt obs://bucket-test/key可以将D盘temp路径下名为test.txt的文件上传至bucket-test桶中,并且重命名为key。
- 设置-threshold=52428800启动分段任务算法,设置分段任务的阈值为50MB。
以Windows操作系统为例,示例如下:
obsutil cp d:\temp\test.txt obs://bucket-test/key -threshold=52428800 Parallel: 3 Jobs: 3 Threshold: 50.00MB PartSize: auto Exclude: Include: VerifyLength: false VerifyMd5: false CheckpointDir: xxxx [====================================================] 100.00% 1.68 MB/s 5s Upload successfully, 8.46MB, d:\temp\test.txt --> obs://bucket-test/key
- 优先级:命令级参数threshold > 配置文件参数defaultBigfileThreshold。
- 分段任务的阈值作用于单个文件/对象,如果文件/对象的大小大于该阈值才会对该文件/对象应用分段任务算法。
- 分段任务算法和断点续传是强制绑定关系,即一旦使用分段任务算法就相当于对该次任务启动了断点续传模式。
父主题: 最佳实践