文档首页 > > 工具指南> obsutil> 最佳实践>

obsutil性能调优最佳实践

obsutil性能调优最佳实践

分享
更新时间:2020/12/31 GMT+08:00

obsutil对大于50MB的文件/对象默认采用分段方式进行上传、下载和复制,与分段任务相关的参数在.obsutilconfig配置文件中,如表1所示。

表1 多段参数

参数

描述

defaultBigfileThreshold

开启分段任务的阈值,如果待上传/下载/复制的文件大于该阈值,则采用分段任务的形式进行上传/下载/复制。单位:字节,默认为50MB。

defaultPartSize

每个分段任务的段大小,单位:字节,默认为auto。

说明:
  • 对于分段上传和分段复制取值范围是100KB~5GB。
  • 对于分段下载取值范围无限制。

defaultParallels

每个分段任务的最大并发数,默认为5。

通常情况下使用分段任务不仅能提高传输效率,还能实现失败任务的断点续传。默认情况下,分段任务的段大小可以使用auto模式让obsutil自动调整。但在实际操作中,为了进一步提升上传下载性能,可根据文件大小、网络情况等因素进行调整,以获得最大传输效率并能保证传输任务顺利完成。

其中分段并发数可按照以下规则进行调整:

defaultParallels = Min(CPU个数 * 2, 目标对象大小 / defaultPartSize*1.5)

在上传、下载和复制命令中,obsutil提供-p-ps参数用于修改分段并发数和分段大小,并最终以在命令中配置的参数值下发分段任务。如果在命令中不配置,则采用配置文件中的默认值。

其中分段并发数可按照以下规则进行调整:

p = Min(CPU个数 * 2, 目标对象大小 / ps*1.5)

  • 由于运行机资源限制,如果并发数配置过大,可能会因此线程间资源切换及抢夺等原因,导致obsutil上传/下载/复制的性能下降,所以请根据实际的文件大小和网络情况调整defaultParallels (-p)defaultPartSize(-ps)这两个参数的数值。如果要进行压力测试,可以一开始将两个数值调低,然后慢慢调大寻找最优值。
  • 如果defaultParallels (-p)defaultPartSize(-ps)参数值过大,可能会因为网络不稳定等原因,产生EOF错误,此时请适当降低defaultParallels (-p)defaultPartSize(-ps)参数值。
  • 如果进行的是批量操作,目标对象大小可以取待操作对象的平均值。
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问