文档首页/ 对象存储服务 OBS/ 工具指南/ obsutil/ 对象相关命令/ 移动对象
更新时间：2024-09-03 GMT+08:00
查看PDF
分享

移动对象

功能说明

移动对象或按对象名前缀批量移动对象。

  • 移动对象时，请确保OBS桶中的源对象不发生变化，否则可能产生移动失败或者数据不一致的问题。
  • 如果被移动对象的存储类型为cold，必须首先恢复被移动对象，否则无法移动成功。
  • 移动对象或批量移动成功后，源端对象会被删除。
  • 如果源桶是并行文件系统（POSIX），则目标桶不能是对象存储桶。

命令结构

  • Windows操作系统
    • 移动单个对象 
      obsutil mv obs://srcbucket/key obs://dstbucket/[dest] [-dryRun] [-u] [-p=1] [-threshold=52428800] [-versionId=xxx] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
    • 批量移动对象 
      obsutil mv obs://srcbucket[/key] obs://dstbucket[/dest] -r [-dryRun] [-f] [-flat] [-u] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
  • macOS/Linux操作系统
    • 移动单个对象 
      ./obsutil mv obs://srcbucket/key obs://dstbucket/[dest] [-dryRun] [-u] [-p=1] [-threshold=52428800] [-versionId=xxx] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
    • 批量移动对象 
      ./obsutil mv obs://srcbucket[/key] obs://dstbucket[/dest] -r [-dryRun] [-f] [-flat] [-u] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
  • 移动的源路径和目标路径不能完全相同。
  • 批量移动时，源路径和目标路径不能相互嵌套。
  • 不支持对并行文件系统的批量移动的操作。

运行示例

  • 以Windows操作系统为例，运行obsutil mv obs://bucket-test/key obs://bucket-test2 ，移动单个对象。 
    obsutil mv obs://bucket-test/key obs://bucket-test2

Parallel:      3                   Jobs:          3
Threshold:     524288000           PartSize:      5242880
Exclude:                           Include:
VerifyLength:  false               VerifyMd5:     false
CheckpointDir: xxxx

[=====================================================] 100.00% 6/s 0s
Move successfully, 19B, obs://bucket-test/key --> obs://bucket-test2/key
  • 以Windows操作系统为例，运行obsutil mv obs://bucket-test/temp/ obs://bucket-test2 -f -r，批量移动对象。 
    obsutil mv obs://bucket-test/temp/ obs://bucket-test2 -f -r

Parallel:      3                   Jobs:          3
Threshold:     524288000           PartSize:      5242880
Exclude:                           Include:
VerifyLength:  false               VerifyMd5:     false
CheckpointDir: xxxx
OutputDir: xxxx


[=============================================================] 100.00% 10/s 0s
Succeed count is:   5         Failed count is:    0
Metrics [max cost:298 ms, min cost:192 ms, average cost:238.00 ms, average tps:9.71]
Task id is: 0476929d-9d23-4dc5-b2f8-0a0493f027c5

参数说明

参数

约束

描述

srcbucket

必选

源桶名。

dstbucket

必选

目标桶名。

dest

可选

移动对象时的目标对象名，或批量移动时目标对象名前缀。

key

移动对象时必选

批量移动时可选

移动对象时的源对象名，或批量移动时源对象名前缀。

规则如下：

  • 移动对象时，该值不能为空；如果dest为空，则将源对象移动到目标桶的根目录；如果dest以“/”结尾，则目标对象名为dest+源对象名；否则，目标对象名为dest；
  • 批量移动时，如果该值为空，则移动源桶中的所有对象；否则，移动源桶中以该值为对象名前缀的所有对象。目标对象名的确认规则为：
    • 如果dest以“/”结尾，目标对象名为dest+源对象名；
    • 如果dest不以“/”结尾，目标对象名为dest+/+源对象名。
说明：
  • 批量移动且该值不为空时，如果未设置flat选项，则移动时源对象名会包含上一级父对象名前缀；如果设置了flat选项，则移动时源对象名不包含上一级父对象名前缀。
  • 请参考移动命令结构理解该参数的使用方式。

fr

附加参数，移动对象时可选

移动对象时生成结果清单文件。

flat

附加参数，批量移动时可选

移动时，不包含上一级父对象名前缀。

dryRun

附加参数，可选

测试模式运行，不执行实际的移动操作。

u

附加参数，可选

增量移动操作，设置该参数后，移动每个源对象时会对比目标桶中对应路径的目标对象，仅在目标对象不存在，或者目标对象大小与源对象大小不一致，或者目标对象的最后修改时间早于源对象的最后修改时间时进行移动。

说明：

如果目标对象与源对象大小以及修改时间都一致，此时会直接删除源对象，而不进行移动操作。

p

附加参数，可选

每个分段移动任务的最大并发数，默认为配置文件中的defaultParallels。

threshold

附加参数，可选

开启分段移动任务的阈值，单位：字节，默认为配置文件中的defaultBigfileThreshold。

说明：
  • 如果待移动的源对象小于该阈值，则使用直接移动模式；否则使用分段移动模式。
  • 直接移动模式不会产生断点记录文件，不支持断点续传。
  • 支持带容量单位配置，例如，配置1MB代表1048576字节。

versionId

附加参数，移动对象时可选

移动单个对象时可指定的源对象版本号。

说明：

POSIX桶无version概念，故POSIX桶不支持versionId选项。

acl

附加参数，可选

移动对象时可指定的目标对象的预定义访问策略。支持的值：

  • private
  • public-read
  • public-read-write
  • bucket-owner-full-control
说明：

以上四个值分别对应：私有读写、公共读、公共读写、桶拥有者完全控制，四种预定义访问策略。

sc

附加参数，可选

移动对象时可指定的目标对象的存储类型。支持的值：

  • standard：标准存储，访问时延低、吞吐量高，适用于有大量热点文件（平均一个月多次）或小文件（小于1MB）。
  • warm：低频访问存储，可用性略低于standard，适用于不频繁访问（平均一年少于12次）但在需要时也要求快速访问数据的业务场景。
  • cold：归档存储，安全、持久且成本极低，适用于很少访问（平均一年访问一次）数据的业务场景。

meta

附加参数，可选

移动对象时可指定的目标对象的自定义元数据。格式为：key1:value1#key2:value2#key3:value3。

说明：

以上值表示移动对象完成后，桶内目标对象包含三组自定义元数据，分别为：key1:value1、key2:value2、key3:value3。

fs

附加参数，可选

是否使用并行文件系统的列举方式，如果桶是并行文件系统，推荐加上该参数。

注意：
  • 该列举方式会因为目录结构，耗时会差别很大。
  • 该参数开启后，会忽略marker和limit值，统计桶或者并行文件系统或者指定目录的大小。
  • Util 5.5.12版本及以上支持该参数。

ps

附加参数，可选

每个分段移动任务的段大小，单位：字节，取值范围是100KB~5GB，默认为配置文件中的defaultPartSize。

说明：
  • 支持带容量单位配置，例如，配置1MB代表1048576字节。
  • 支持配置为auto，此时obsutil会根据源对象大小自动设置每个分段任务的段大小。

cpd

附加参数，可选

生成断点记录文件的文件夹，默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。

说明：

每个分段移动任务会产生唯一对应的断点记录文件并保存至该文件夹的copy子文件夹下，分段任务执行成功后，对应的断点记录文件会被自动删除；分段任务执行失败或被中断后，下次执行该分段任务时会尝试通过对应的断点记录文件恢复任务。

r

附加参数，批量移动时必选

按指定源桶的对象名前缀批量移动对象。

f

附加参数，批量移动时可选

强制操作，不进行询问提示。

j

附加参数，批量移动时可选

批量移动时的最大并发数，默认为配置文件中的defaultJobs。

说明：

工具会保证该值至少为1。

exclude

附加参数，批量移动时可选

不包含源对象的匹配模式，如：*.txt。

说明：
  • 支持“*”匹配多个任意字符和“?”匹配单个任意字符，例如abc*.txt代表匹配以abc开头以.txt结尾的任意文件。
  • 您可以使用“\*”代表匹配“*”字符本身，使用“\?”代表匹配“?”字符本身。
  • 如果待移动的对象名匹配该参数，则跳过该对象的移动。
须知：
  • 建议使用引号传递该匹配模式（macOS/Linux操作系统使用单引号，Windows操作系统使用双引号）防止特殊符号被操作系统转义，导致不可预期的结果。
  • 该匹配模式作用于对象全路径（含从根路径开始的对象前缀和对象名，例如，桶内对象路径为obs://bucket/src1/src2/test.txt，则对象的全路径为src1/src2/test.txt）。
  • 该匹配模式仅适用于对象名非“/”结尾的对象。
  • 支持指定多个exclude参数，如-exclude=*.xxx -exclude=*.xxx

include

附加参数，批量移动时可选

包含源对象的匹配模式，如：*.jpg。

说明：
  • 支持“*”匹配多个任意字符和“?”匹配单个任意字符。
  • 您可以使用“\*”代表匹配“*”字符本身，使用“\?”代表匹配“?”字符本身。
  • 首先执行exclude的匹配规则，如果待移动的对象名不匹配exclude，则判断待移动的对象名是否匹配该参数，如果匹配则移动该对象，否则跳过该文件的复制。
须知：
  • 建议使用引号传递该匹配模式（macOS/Linux操作系统使用单引号，Windows操作系统使用双引号）防止特殊符号被操作系统转义，导致不可预期的结果。
  • 该匹配模式作用于对象全路径（含从根路径开始的对象前缀和对象名，例如，桶内对象路径为obs://bucket/src1/src2/test.txt，则对象的全路径为src1/src2/test.txt）。
  • 该匹配模式仅适用于对象名非“/”结尾的对象。
  • 支持指定多个include参数，如-include=*.xxx -include=*.xxx

timeRange

附加参数，批量移动时可选

移动对象时的时间段匹配模式，仅移动最后修改时间在该时间段内的对象。

该匹配模式优先级低于对象名匹配模式：exclude和include，优先执行对象名匹配模式后才会执行该匹配模式。

说明：
  • 使用“time1-time2”，代表匹配的时间段，其中time1必须小于等于time2，格式为yyyyMMddHHmmss。
  • 时间格式支持自动补全，例如yyyyMMdd等价于yyyyMMdd000000，yyyyMM等价于yyyyMM01000000。
  • 使用“*-time2”，代表匹配最后修改时间在time2之前的所有文件，使用“time1-*”，代表匹配最后修改时间time1之后的所有文件。
须知：
  • 该匹配模式表示的时间是UTC时间。
  • 该匹配模式仅适用于对象名非“/”结尾的对象。

mf

附加参数，可选

设置名称匹配模式（include、exclude）和时间匹配模式（timeRange）对对象名以“/”结尾的对象也生效。

o

附加参数，可选

生成结果清单文件的文件夹，命令执行完成后，会在该文件夹下生成结果清单文件（可能包含成功结果、失败结果和警告结果三个文件），默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。

说明：
  • 结果清单文件命名规则：mv_{succeed | failed | warning}_report_时间_TaskId.txt。
  • 单个结果清单文件默认情况下最大为30MB且最大可保留的文件个数为1024，可在配置文件中通过recordMaxLogSize和recordBackups分别配置。
  • 当涉及多文件/文件夹时，如需确认失败任务的具体错误信息，可参考结果清单文件夹下的失败结果清单文件"mv_failed_report_时间_TaskId.txt"及日志路径下的日志文件；

config

附加参数，可选

运行当前命令时的自定义配置文件，可支持的配置参数请参考配置参数说明。

e

附加参数，可选

指定终端节点。

i

附加参数，可选

指定用户的AK。

k

附加参数，可选

指定用户的SK。

t

附加参数，可选

指定用户的securitytoken。

响应结果

请参考上传对象的响应结果。

父主题： 对象相关命令

相关文档