使用OMS实现跨账号跨区域桶之间数据复制

srcbucket

必选

源桶名。

dstbucket

必选

目标桶名。

dest

可选

复制对象时的目标对象名，或批量复制时目标对象名前缀。

key

复制对象时必选

批量复制时可选

复制对象时的源对象名，或批量复制时源对象名前缀。

规则如下：

• 复制对象时，该值不能为空。
  • 如果“dest”为空，则将源对象复制到目标桶的根目录。
  • 如果“dest”以“/”结尾，则目标对象名为dest+源对象名；否则，目标对象名为“dest”的值。
• 批量复制时，如果该值为空，则表示复制源桶中的所有对象；否则，复制源桶中以该值为对象名前缀的所有对象。目标对象名的确认规则为：
  • 如果“dest”以“/”结尾，目标对象名为dest+源对象名。
  • 如果“dest”不以“/”结尾，目标对象名为dest+/+源对象名。
• 批量复制且该值不为空时，如果未设置“flat”参数，则复制时源对象名会包含上一级父对象名前缀；如果设置了“flat”参数，则复制时源对象名不包含上一级父对象名前缀。

fr

附加参数，复制对象时可选

复制对象时生成结果清单文件。

flat

附加参数，批量复制时可选

批量复制时，不包含上一级父对象名前缀。

dryRun

附加参数，可选

测试模式运行，不执行实际的复制操作。

crr

跨账号跨区域复制，该参数必选。

复制时使用客户端跨区域复制模式，以通过数据流的方式从源桶直接复制数据到目标桶，且两个桶可以是任意两个OBS服务的桶。

• 如果设置了该参数，必须确保更新了配置文件中客户端跨区域复制的相关配置信息，具体可参考更新配置文件。
• 开启跨区域复制后，因为会占用执行命令主机上传和下载的双向带宽、CPU和内存等资源，可能会影响执行命令主机的性能。

vlength

附加参数，可选

复制完成后，验证目标桶对象大小是否与源桶中对象的大小一致。

该参数必须与“crr”参数配合使用。

vmd5

附加参数，可选

复制完成后，验证目标桶的MD5值是否与源桶中对象的MD5值一致。

• 该参数必须与“crr”参数配合使用。
• 源桶中对象必须包含元数据x-obs-meta-md5chksum，否则会忽略MD5值校验。MD5值校验通过后，会将该值设置为目标对象元数据x-obs-meta-md5chksum，用于下载或复制时校验MD5。
• 如果您的业务涉及加密场景，请勿使用该参数。

u

附加参数，可选

增量复制操作，设置该参数后，复制每个源对象时会对比目标桶中对应路径的目标对象，仅在目标对象不存在，或者目标对象大小与源对象大小不一致，或者目标对象的最后修改时间早于源对象的最后修改时间时进行复制。

p

附加参数，可选

每个分段复制任务的最大并发数，默认为配置文件中的defaultParallels。

threshold

附加参数，可选

开启分段复制任务的阈值。如果待复制的源对象小于该阈值，则使用直接复制模式；否则使用分段复制模式。

默认为配置文件中的defaultBigfileThreshold。

单位：字节

支持带容量单位配置，例如：配置1MB代表1048576字节。

versionId

附加参数，复制对象时可选

复制单个对象时可指定的源对象版本号。

acl

附加参数，可选

复制对象时可指定的目标对象的预定义访问策略。

支持的值：

• private：私有读写，除对象ACL授权外的其他用户无对象的访问权限。
• public-read：公共读，任何用户都可以对桶内对象进行读操作。
• public-read-write：公共读写，任何用户都可以对桶内对象进行读/写/删除操作。
• bucket-owner-full-control：桶拥有者完全控制，其他任何人都没有访问权限。

sc

附加参数，可选

复制对象时可指定的目标对象的存储类型。

支持的值：

• standard：标准存储，访问时延低、吞吐量高，适用于有大量热点文件（平均一个月多次）或小文件（小于1MB）。
• warm：低频访问存储，可用性略低于standard，适用于不频繁访问（平均一年少于12次）但在需要时也要求快速访问数据的业务场景。
• cold：归档存储，安全、持久且成本极低，适用于很少访问（平均一年访问一次）数据的业务场景。
• deep-archive：深度归档存储，适用于长期不访问（平均几年访问一次）数据的业务场景，其成本相比归档存储更低，但相应的数据恢复时间将更长，一般为数小时。

meta

附加参数，可选

复制对象时可指定的标准和自定义元数据。

• 标准元数据包括：Content-Type、Content-Encoding、Cache-Control、Content-Disposition、Content-Language、Expires。
• 自定义元数据格式为：key:value，多个自定义元数据使用#链接。例如key1:value1#key2:value2#key3:value3，其含义是，复制文件后，桶内目标对象包含三组自定义元数据，分别为：key1:value1、key2:value2、key3:value3。

fs

附加参数，可选

是否使用并行文件系统的列举方式，如果桶是并行文件系统，推荐加上该参数。

• 该参数开启后，会忽略marker和limit值，统计桶或者并行文件系统或者指定目录的大小。
• Util 5.5.12版本及以上支持该参数。
• 该列举方式会因为目录结构，耗时差别很大。

ps

附加参数，可选

每个分段复制任务的段大小。

• 默认为配置文件中的defaultPartSize，支持配置为auto，此时obsutil会根据源文件大小自动设置每个分段任务的段大小。
• 取值范围：100KB~5GB
• 单位：字节。支持带容量单位配置，例如，配置1MB代表1048576字节。

cpd

附加参数，可选

生成断点记录文件的文件夹，默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。

每个分段复制任务会产生唯一对应的断点记录文件并保存至该文件夹的upload子文件夹下。分段任务执行成功后，对应的断点记录文件会被自动删除；分段任务执行失败或被中断后，下次执行该分段任务时会尝试通过对应的断点记录文件恢复任务。

r

附加参数，批量复制时必选

按指定源桶的对象名前缀批量复制对象。

f

附加参数，批量复制时可选

强制操作，不进行询问提示。

j

附加参数，批量复制时可选

批量复制时的最大并发数，默认为配置文件中的defaultJobs。

exclude

附加参数，批量复制时可选

不包含源对象的匹配模式，设置该参数后，如果待复制的对象名匹配该参数，则跳过该对象的复制。如：*.txt，代表所有后缀为.txt的文件自动跳过，不复制。

• “*”匹配多个任意字符，如：“abc*.txt”表示匹配所有以“abc”开头，中间可以包含任意数量的任意字符，以“.txt”结尾的文件名。
• “?”匹配单个任意字符，如：“abc?.txt”表示匹配所有以“abc”开头，中间包含1个任意字符，以“.txt”结尾的文件名。
• 您可以使用“\*”代表匹配“*”字符本身，使用“\?”代表匹配“?”字符本身。
• 支持指定多个exclude参数，如 -exclude=*.xxx -exclude=*.xxx

约束限制：

该匹配模式仅适用于对象名非“/”结尾的对象。

include

附加参数，批量复制时可选

包含源对象的匹配模式，设置该参数后，如果待复制的对象名匹配该参数，则复制该对象。如：*.txt，代表所有后缀为.txt的对象将会被复制。

• “*”匹配多个任意字符，如：“abc*.txt”表示匹配所有以“abc”开头，中间可以包含任意数量的任意字符，以“.txt”结尾的文件名。
• “?”匹配单个任意字符，如：“abc?.txt”表示匹配所有以“abc”开头，中间包含1个任意字符，以“.txt”结尾的文件名。
• 您可以使用“\*”代表匹配“*”字符本身，使用“\?”代表匹配“?”字符本身。
• 支持指定多个include参数，如 -include=*.xxx -include=*.xxx

约束限制：

• 该匹配模式仅适用于对象名非“/”结尾的对象。
• 如果同时配置了exclude和include参数，则首先执行exclude的匹配规则，如果待复制的对象名不匹配exclude参数，则判断待复制的对象名是否匹配include参数，如果匹配则复制该对象，否则跳过该对象的复制。

示例：

./obsutil cp obs://src-bucket/ obs://target-bucket/ -include=/src-object/* -f -r

以上命令的含义是：复制src-bucket桶下符合匹配规则的文件到target-bucket桶下，匹配规则是以“src-object/”开头的对象名称。

timeRange

附加参数，批量复制时可选

复制对象时的时间段匹配模式，仅复制最后修改时间在该时间段内的对象。

该匹配模式优先级低于文件名匹配模式：exclude和include，即优先执行exclude和include参数匹配，然后执行该匹配模式。

• 该匹配模式表示的时间是UTC时间。
• 使用“time1-time2”，代表匹配的时间段，其中time1必须小于等于time2，格式为yyyyMMddHHmmss。
• 时间格式支持自动补全，例如：yyyyMMdd等价于yyyyMMdd000000，yyyyMM等价于yyyyMM01000000。
• 使用“*-time2”，代表匹配最后修改时间在time2之前的所有文件，使用“time1-*”，代表匹配最后修改时间time1之后的所有文件。

该匹配模式仅适用于对象名非“/”结尾的对象。

mf

附加参数，可选

设置名称匹配模式（include、exclude）和时间匹配模式（timeRange）对对象名以“/”结尾的对象也生效。

o

附加参数，可选

生成结果清单文件的文件夹，命令执行完成后，会在该文件夹下生成结果清单文件（可能包含成功结果、失败结果、警告结果三个文件）。

默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。

• 结果清单文件命名规则：cp_{succeed | failed | warning}_report_时间_TaskId.txt。
• 单个结果清单文件默认情况下最大为30MB，可在配置文件中通过recordMaxLogSize分别配置。
• 单个结果清单文件默认情况下最多可保留1024个文件，可在配置文件中通过recordBackups分别配置。
• 当涉及多文件/文件夹时，如需确认失败任务的具体错误信息，可参考结果清单文件夹下的失败结果清单文件“cp_failed_report_时间_TaskId.txt”和日志路径下的日志文件。

config

附加参数，可选

运行当前命令时的自定义配置文件。

可支持的配置参数请参考配置参数说明。

e

附加参数，可选

指定终端节点。

i

附加参数，可选

指定用户的AK。

k

附加参数，可选

指定用户的SK。

t

附加参数，可选

指定用户的securitytoken。

Parallel

请求中的-p参数。

Jobs

请求中的-j参数。

Threshold

请求中的-threshold参数。

PartSize

请求中的-ps参数。

Exclude

请求中的-exclude参数。

Include

请求中的-include参数。

TimeRange

请求中的-timeRange参数。

VerifyLength

请求中的-vlength参数。

VerifyMd5

请求中的-vmd5参数。

CheckpointDir

请求中的-cpd参数。

OutputDir

请求中的-o参数。

ArcDir

请求中的-arcDir参数。

Succeed count

成功的任务数。

Failed count

失败的任务数。

Skip count

增量上传/下载/复制、同步上传/下载/复制跳过的任务数。

Warning count

执行完成但包含警告的任务数。

Succeed bytes

上传/下载成功的字节数。

max cost

所有任务中的最长耗时，单位：毫秒。

min cost

所有任务中的最短耗时，单位：毫秒。

average cost

平均耗时，单位：毫秒。

average tps

平均每秒的任务完成个数。

Task id

每次运行的唯一标识号，用于查找批量任务生成的结果清单文件。