更新时间:2023-02-27 GMT+08:00
分享

文件拷贝

使用cp命令将源路径中的文件拷贝到指定路径。同时,该命令支持拷贝其他项目中的数据。

命令结构

health cp <srcdir> <destdir> [flags]
表1 参数说明

参数

简写

是否必选

说明

srcdir

源路径,支持本项目和其他项目的路径。

当源路径为其他项目时,与EIHealth平台数据导入功能对应,即拷贝其他项目文件至本项目。

destdir

目的路径,只支持本项目路径。

--rename

-e

重命名,复制文件时该参数可选。

--recursive

-r

递归复制文件夹中所有文件和子文件夹,复制文件夹时该参数必选。

--force

-f

强制操作,不进行询问提示,复制文件夹时该参数可选。

不加-f,会被询问是否执行操作,需选择yes或no。

--flat

-l

复制文件夹时,只复制文件夹下的所有内容,复制文件夹时该参数可选。

--update

-u

增量复制,设置该参数后,复制时会判断是否有同名文件,若有同名文件,则跳过不进行复制。

--fr

-R

复制对象时生成结果清单文件。

--dryRun

-y

测试模式运行,不执行实际的复制操作。

--crr

-c

复制时使用客户端跨区域复制模式,以通过数据流的方式从源桶直接复制数据到目标桶,且两个桶可以是任意两个OBS服务的桶。

若设置了该参数,必须确保更新了配置文件中客户端跨区域复制的相关配置信息,具体可参考更新配置文件。复制时源桶对应的配置信息为配置文件中的:akCrr/skCrr/tokenCrr/endpointCrr,目标桶对应的配置信息为配置文件中的:ak/sk/token/endpoint。

开启该模式后,会占用上传和下载的双向带宽。

--vlength

-v

复制完成后,验证目标桶对象大小是否与源桶中对象的大小一致。

必须与--crr参数配合使用。

--vmd5

-M

复制完成后,验证目标桶的MD5值是否与源桶中对象的MD5值一致。

必须与--crr参数配合使用。源桶中对象必须包含元数据x-obs-md5chksum,否则会忽略MD5值校验。MD5值校验通过后,会将该值设置为目标对象元数据x-obs-md5chksum,用于下载或复制时校验MD5。

--parallel

-p

每个分段复制任务的最大并发数,默认为配置文件中的defaultParallels。

--threshold

-t

开启分段复制任务的阈值,单位:字节,默认为配置文件中的defaultBigfileThreshold。

如果待复制的源对象小于该阈值,则使用直接复制模式;否则使用分段复制模式。直接复制模式不会产生断点记录文件,不支持断点续传。支持带容量单位配置,例如,配置1MB代表1048576字节。

--versionId

-V

复制单个对象时可指定的源对象版本号。

--acl

-a

复制对象时可指定的目标对象的预定义访问策略。

支持的值:

  • private:私有读写
  • public-read:公共读
  • public-read-write:公共读写
  • bucket-owner-full-control:桶拥有者完全控制

--meta

-E

复制对象时可指定的目标对象的自定义元数据。

格式为:key1:value1#key2:value2#key3:value3。

以上值表示复制对象完成后,桶内目标对象包含三组自定义元数据,分别为:key1:value1、key2:value2、key3:value3。

--ps

-s

每个分段复制任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。

支持带容量单位配置,例如,配置1MB代表1048576字节。

支持配置为auto,此时obsutil会根据源对象大小自动设置每个分段任务的段大小。

--cpd

-C

生成断点记录文件的文件夹,默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。

每个分段复制任务会产生唯一对应的断点记录文件并保存至该文件夹的copy子文件夹下,分段任务执行成功后,对应的断点记录文件会被自动删除;分段任务执行失败或被中断后,下次执行该分段任务时会尝试通过对应的断点记录文件恢复任务。

--jobs

-j

批量复制时的最大并发数,默认为配置文件中的defaultJobs。

--exclude

-x

不包含源对象的匹配模式,如:*.txt。

支持“*”匹配多个任意字符和“?”匹配单个任意字符,例如abc*.txt代表匹配以abc开头以.txt结尾的任意文件。

您可以使用“\*”代表匹配“*”字符本身,使用“\?”代表匹配“?”字符本身。如果待复制的对象名匹配该参数,则跳过该对象的复制。

建议使用引号传递该匹配模式( macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。

该匹配模式作用于对象全路径(含从根路径开始的对象前缀和对象名,例如,桶内对象路径为obs://bucket/src1/src2/test.txt,则对象的全路径为src1/src2/test.txt)。该匹配模式仅适用于对象名非“/”结尾的对象。

支持指定多个exclude参数,如 --exclude *.xxx --exclude *.xxx。

--include

-I

包含源对象的匹配模式,如:*.jpg。

支持“*”匹配多个任意字符和“?”匹配单个任意字符。

您可以使用“\*”代表匹配“*”字符本身,使用“\?”代表匹配“?”字符本身。首先执行exclude的匹配规则,如果待复制的对象名不匹配exclude,则判断待复制的对象名是否匹配该参数,如果匹配则复制该对象,否则跳过该文件的复制。

建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。

该匹配模式作用于对象全路径(含从根路径开始的对象前缀和对象名,例如,桶内对象路径为obs://bucket/src1/src2/test.txt,则对象的全路径为src1/src2/test.txt)。该匹配模式仅适用于对象名非“/”结尾的对象。

支持指定多个include参数,如--include *.xxx --include *.xxx。

--timeRange

-T

复制对象时的时间段匹配模式,仅复制最后修改时间在该时间段内的对象。该匹配模式优先级低于对象名匹配模式:exclude和include,优先执行对象名匹配模式后才会执行该匹配模式。

使用“time1-time2”,代表匹配的时间段,其中time1必须小于等于time2,格式为yyyyMMddHHmmss。时间格式支持自动补全,例如yyyyMMdd等价于yyyyMMdd000000,yyyyMM等价于yyyyMM01000000。

使用“*-time2”,代表匹配最后修改时间在time2之前的所有文件,使用“time1-*”,代表匹配最后修改时间time1之后的所有文件。

该匹配模式表示的时间是UTC时间。该匹配模式仅适用于对象名非“/”结尾的对象。

--mf

-m

设置名称匹配模式(include、exclude)和时间匹配模式(timeRange)对对象名以“/”结尾的对象也生效。

--o

-o

生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果、失败结果和警告结果三个文件),默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。

结果清单文件命名规则:cp_{succeed | failed | warning}_report_时间_TaskId.txt。

单个结果清单文件默认情况下最大为30MB且最大可保留的文件个数为1024,可在配置文件中通过recordMaxLogSize和recordBackups分别配置。当涉及多文件/文件夹时,如需确认失败任务的具体错误信息,可参考结果清单文件夹下的失败结果清单文件“cp_failed_report_时间_TaskId.txt”及日志路径下的日志文件

--e

-P

指定终端节点。

--i

-i

指定用户的AK。

--k

-k

指定用户的SK。

--t

-n

指定用户的securitytoken。

--recover

-z

待恢复复制任务结果清单文件的任务号。注意:恢复任务,不支持bucket-owner-full-control权限,因此,用于作业的数据abort后,不要使用恢复的方式,建议重新执行操作,或手动修改数据权限。

命令示例

本节以Windows为例介绍eihealth-toolkit的使用过程,Linux和macOS环境使用方法基本相同,可参考。

  • 列举路径中的文件夹对象时,需使用/xxx/格式,如示例中的/src1/和/src2/。

    如果路径中带有特殊字符比如()之类的,运行的时候需要将整个路径用""括起来,或者用\将字符转义,例如:health cp "/src2/abs(1).txt" /src1/ 或者 health cp /src2/abs\(1\).txt /src1/ 。

  • cp命令源路径支持../写法。
  • 指定具体文件进行拷贝,将src2中的abc.txt文件拷贝至src1中。
    health cp /src2/abs.txt /src1/ -f
    # 返回结果如下
    copy project file successfully!
  • 不指定具体文件进行批量拷贝,将src1中的所有文件拷贝至src2中。
    health cp /src1/ /src2/ -r -f
    # 返回结果如下
    copy project file successfully!
  • 拷贝其他项目中的文件,将project1项目中的zip文件拷贝至本项目src1中。拷贝其他项目文件,需要是该项目的成员,并具备数据操作权限,详细权限介绍请参见项目成员和权限
    health cp project1:/test/test.zip /src1/ -r -f

相关文档