# 复制对象 #### 使用场景 用户可以根据需要将存储在OBS上的对象复制到其他路径下。复制对象操作将创建需要复制的对象的副本。在单次操作中，您可以创建最大5GB的对象副本。对于复制大于5GB的对象副本，请您使用多段上传API。通过使用copy操作，您可以： - 创建对象的其他副本。 - 通过复制对象并删除原始对象来重命名它们。 - 更改对象元数据。 ![](https://support.huaweicloud.com/usermanual-obs/public_sys-resources/note_3.0-zh-cn.png) 每个OBS对象都带有元数据，它是一组名称值对，分为系统元数据和用户自定义元数据两种，某些系统元数据用户也是可以控制的。您可以在上传对象时对其进行设置： - 上传对象后，通过接口修改元数据，详情请参见[修改对象元数据](https://support.huaweicloud.com/api-obs/obs_04_0091.html)。 - 创建对象的副本并设置元数据，在复制操作中，设置与源和目标相同的对象。 用户控制的系统元数据和用户自定义元数据都会被复制下来，OBS会自动重设系统控制的元数据。因此在复制请求中，您无需设置这些值。例如，在复制对象时，OBS将重设已复制的对象的创建日期。 如果您选择在复制期间更新任意对象的用户可配置元数据（系统或用户定义的），您必须显式地指定所有的用户可配置元数据，即使您只更改一个元数据的值（显示在请求中的源对象上）。 #### 前提条件 - 您需要有源Object的读权限及目标Bucket的读写权限，否则无法完成拷贝操作。 - 同时拥有obs:object:GetObject和obs:object:PutObject权限才能完成复制对象操作。 #### 注意事项 - 不支持跨区域复制对象。例如，不支持将北京一区域下桶内的对象复制到北京四区域下的桶。如果您想将对象自动复制到其他区域，详情请参见[跨区域复制](https://support.huaweicloud.com/usermanual-obs/obs_03_0003.html#ZH-CN_TOPIC_0000002288445746)。 - 不支持对通过追加写方式生成的对象进行拷贝。 - 在单次操作中，您可以创建最大5GB的对象副本。对于复制大于5GB的对象副本，请您使用多段上传API。 - 如果要复制的深度归档对象数量较多，为了降低PUT类请求费用，建议先指定拷贝后的对象存储类型为标准存储，然后通过[生命周期规则](https://support.huaweicloud.com/usermanual-obs/obs_41_0069.html#ZH-CN_TOPIC_0000001945139382)将其转储为深度归档类型。 - 复制对象时默认会覆盖同名对象， 复制成功后，只能下载到新的对象objectb，老对象objectb将会被删除。为防止数据丢失，您可以通过以下方式保护您的文件。 - 在使用copy接口时请确保目标对象不存在或者已无价值。 - 开启多版本控制功能 开启多版本控制功能后，被删除或覆盖的文件会以历史版本的形式保存下来。您可以随时恢复历史版本文件。 - OBS帮助您将存储于华为云对象存储的业务数据复制到指定Region，但华为云并不感知您的数据的具体内容，也不对您使用本服务的合法合规性负责。如果您的复制涉及跨境传输，请确保您使用本服务符合法律法规的要求。 - 复制对象的结果不能仅根据HTTP返回头域中的status_code来判断请求是否成功，头域中status_code返回200时表示服务端已经收到请求，且开始处理复制对象请求。复制是否成功会在响应消息的body中，只有body体中有ETag标签才表示成功，否则表示复制失败。 #### 使用方式 OBS支持通过API、SDK、OBS Browser+、obsutil方式复制对象，不支持通过[管理控制台](https://console.huaweicloud.com/console/?locale=zh-cn#/obs/manager/buckets)方式复制对象。 #### 使用API [复制对象](https://support.huaweicloud.com/api-obs/obs_04_0082.html) #### 使用SDK | [Java](https://support.huaweicloud.com/sdk-java-devg-obs/obs_21_0805.html) | [Python](https://support.huaweicloud.com/sdk-python-devg-obs/obs_22_0917.html) | [C](https://support.huaweicloud.com/sdk-c-devg-obs/obs_20_0605.html) | [Go](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0505.html) | [BrowserJS](https://support.huaweicloud.com/sdk-browserjs-devg-obs/obs_24_0705.html) | [.NET](https://support.huaweicloud.com/sdk-dotnet-devg-obs/obs_25_0605.html) | [Android](https://support.huaweicloud.com/sdk-android-devg-obs/obs_26_0605.html) | [iOS](https://support.huaweicloud.com/sdk-ios-devg-obs/obs_27_0605.html) | [PHP](https://support.huaweicloud.com/sdk-php-devg-obs/obs_28_0605.html) | [Node.js](https://support.huaweicloud.com/sdk-nodejs-devg-obs/obs_29_0608.html) | |---|---|---|---|---|---|---|---|---|---| #### 使用图形化工具OBS Browser+ **约束与限制：** - 不支持复制外部桶中的文件或文件夹。 - 不支持复制归档存储对象的恢复状态。 - 仅支持将文件或文件夹复制到不同路径下。 **操作步骤：** 1. 登录OBS Browser+。 2. 选中待配置的桶，右键单击需要复制的文件或文件夹，并选择"复制"。 3. 选择存放文件或文件夹的路径后，单击右键并选择"粘贴"。 #### 使用命令行工具obsutil **命令结构：** - Windows操作系统 - 复制单个对象 ``` obsutil cp obs://srcbucket/key obs://dstbucket/[dest] [-dryRun] [-u] [-crr] [-vlength] [-vmd5] [-p=1] [-threshold=52428800] [-versionId=xxx] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] ``` - 批量复制对象 ``` obsutil cp obs://srcbucket[/key] obs://dstbucket[/dest] -r [-dryRun] [-f] [-flat] [-u] [-crr] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] ``` - macOS/Linux操作系统 - 复制单个对象 ``` ./obsutil cp obs://srcbucket/key obs://dstbucket/[dest] [-dryRun] [-u] [-crr] [-vlength] [-vmd5] [-p=1] [-threshold=52428800] [-versionId=xxx] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] ``` - 批量复制对象 ``` ./obsutil cp obs://srcbucket[/key] obs://dstbucket[/dest] -r [-dryRun] [-f] [-flat] [-u] [-crr] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] ``` **运行示例：** - 以Windows操作系统为例，运行**obsutil cp obs://bucket-test/key obs://bucket-test2** ，复制单个对象。 ``` obsutil cp obs://bucket-test/key obs://bucket-test2 Start at 2024-09-30 08:30:09.0815415 +0000 UTC Parallel: 3 Jobs: 3 Threshold: 50.00MB PartSize: auto CheckpointDir: xxxx [=====================================================] 100.00% 6/s 0s Waiting for the copied key to be completed on server side. Copy successfully, 19B, obs://bucket-test/key --> obs://bucket-test2/key ext.txt, cost [1708], status [200], request id [00000192420D227E4017336A12F1DC22] ``` - 以Windows操作系统为例，运行**obsutil cp obs://bucket-test/temp/ obs://bucket-test2 -f -r** ，批量复制对象。 ``` obsutil cp obs://bucket-test/temp/ obs://bucket-test2 -r -f Start at 2024-09-30 08:34:02.7819703 +0000 UTC Parallel: 5 Jobs: 5 Threshold: 50.00MB PartSize: auto CheckpointDir: xxxx Task id: 0476929d-9d23-4dc5-b2f8-0a0493f027c5 OutputDir: xxxx [=============================================================] 100.00% 10/s 0s Succeed count: 5 Failed count: 0 Metrics [max cost:298 ms, min cost:192 ms, average cost:238.00 ms, average tps:9.71, transferred size: 7.20MB] Task id: 0476929d-9d23-4dc5-b2f8-0a0493f027c5 ``` - 更多运行示例，请参见[常见示例](https://support.huaweicloud.com/utiltg-obs/obs_11_0027.html)。 **参数说明：** | **参数** | **约束** | **描述** | |:---|:---|:---| | srcbucket | 必选 | 源桶名。 | | dstbucket | 必选 | 目标桶名。 | | dest | 可选 | 复制对象时的目标对象名，或批量复制时目标对象名前缀。 | | key | 复制对象时必选 批量复制时可选 | 复制对象时的源对象名，或批量复制时源对象名前缀。 规则如下： - 复制对象时，该值不能为空。 - 如果"dest"为空，则将源对象复制到目标桶的根目录。 - 如果"dest"以"/"结尾，则目标对象名为dest+源对象名；否则，目标对象名为"dest"的值。 - 批量复制时，如果该值为空，则表示复制源桶中的所有对象；否则，复制源桶中以该值为对象名前缀的所有对象。目标对象名的确认规则为： - 如果"dest"以"/"结尾，目标对象名为dest+源对象名。 - 如果"dest"不以"/"结尾，目标对象名为dest+/+源对象名。 - 批量复制且该值不为空时，如果未设置"flat"参数，则复制时源对象名会包含上一级父对象名前缀；如果设置了"flat"参数，则复制时源对象名不包含上一级父对象名前缀。 说明： 请参考[复制示例](https://support.huaweicloud.com/utiltg-obs/obs_11_0030.html)理解该参数的使用方式。 | | fr | 附加参数，复制对象时可选 | 复制对象时生成结果清单文件。 | | flat | 附加参数，批量复制时可选 | 批量复制时，不包含上一级父对象名前缀。 | | dryRun | 附加参数，可选 | 测试模式运行，不执行实际的复制操作。 | | crr | 附加参数，可选 | 复制时使用客户端跨区域复制模式，以通过数据流的方式从源桶直接复制数据到目标桶，且两个桶可以是任意两个OBS服务的桶。 - 如果设置了该参数，必须确保更新了配置文件中客户端跨区域复制的相关配置信息，具体可参考[更新配置文件](https://support.huaweicloud.com/utiltg-obs/obs_11_0023.html)。 - 开启跨区域复制后，因为会占用执行命令主机上传和下载的双向带宽、CPU和内存等资源，可能会影响执行命令主机的性能。 说明： 复制时源桶对应的配置信息为配置文件中的"akCrr/skCrr/tokenCrr/endpointCrr"，目标桶对应的配置信息为配置文件中的"ak/sk/token/endpoint"。 | | vlength | 附加参数，可选 | 复制完成后，验证目标桶对象大小是否与源桶中对象的大小一致。 **该参数必须与"crr"参数配合使用。** | | vmd5 | 附加参数，可选 | 复制完成后，验证目标桶的MD5值是否与源桶中对象的MD5值一致。 - **该参数必须与"crr"参数配合使用。** - **源桶中对象必须包含元数据x-obs-meta-md5chksum，否则会忽略MD5值校验。**MD5值校验通过后，会将该值设置为目标对象元数据x-obs-meta-md5chksum，用于下载或复制时校验MD5。 - **如果您的业务涉及加密场景，请勿使用该参数。** | | u | 附加参数，可选 | 增量复制操作，设置该参数后，复制每个源对象时会对比目标桶中对应路径的目标对象，仅在目标对象不存在，或者目标对象大小与源对象大小不一致，或者目标对象的最后修改时间早于源对象的最后修改时间时进行复制。 | | p | 附加参数，可选 | 每个分段复制任务的最大并发数，默认为配置文件中的defaultParallels。 注意： 对于未携带 crr 参数的桶间复制任务，该参数的取值范围上限为 10,000。 | | threshold | 附加参数，可选 | 开启分段复制任务的阈值。如果待复制的源对象小于该阈值，则使用直接复制模式；否则使用分段复制模式。 默认为配置文件中的defaultBigfileThreshold。 单位：字节 支持带容量单位配置，例如：配置1MB代表1048576字节。 说明： 直接复制模式不会产生断点记录文件，不支持断点续传。 | | versionId | 附加参数，复制对象时可选 复制多版本对象时必选。 | 复制单个对象时可指定的源对象版本号。 | | acl | 附加参数，可选 | 复制对象时可指定的目标对象的预定义访问策略。 支持的值： - private：私有读写，除对象ACL授权外的其他用户无对象的访问权限。 - public-read：公共读，任何用户都可以对桶内对象进行读操作。 - public-read-write：公共读写，任何用户都可以对桶内对象进行读/写/删除操作。 - bucket-owner-full-control：桶拥有者完全控制，其他任何人都没有访问权限。 | | sc | 附加参数，可选 | 复制对象时可指定的目标对象的存储类型。 支持的值： - standard：标准存储，访问时延低、吞吐量高，适用于有大量热点文件（平均一个月多次）或小文件（小于1MB）。 - warm：低频访问存储，可用性略低于standard，适用于不频繁访问（平均一年少于12次）但在需要时也要求快速访问数据的业务场景。 - cold：归档存储，安全、持久且成本极低，适用于很少访问（平均一年访问一次）数据的业务场景。 - deep-archive：深度归档存储，适用于长期不访问（平均几年访问一次）数据的业务场景，其成本相比归档存储更低，但相应的数据恢复时间将更长，一般为数小时。 | | meta | 附加参数，可选 | 复制对象时可指定的标准和自定义元数据。 - 标准元数据包括：Content-Type、Content-Encoding、Cache-Control、Content-Disposition、Content-Language、Expires。 - 自定义元数据格式为：key:value，多个自定义元数据使用#链接。例如key1:value1#key2:value2#key3:value3，其含义是，复制文件后，桶内目标对象包含三组自定义元数据，分别为：key1:value1、key2:value2、key3:value3。 | | fs | 附加参数，可选 | 是否使用并行文件系统的列举方式，如果桶是并行文件系统，推荐加上该参数。 - 该参数开启后，会忽略marker和limit值，统计桶或者并行文件系统或者指定目录的大小。 - Util 5.5.12版本及以上支持该参数。 - 该列举方式会因为目录结构，耗时差别很大。 | | ps | 附加参数，可选 | 每个分段复制任务的段大小。 - 默认为配置文件中的defaultPartSize，支持配置为auto，此时obsutil会根据源文件大小自动设置每个分段任务的段大小。 - 取值范围：100KB\~5GB - 单位：字节。支持带容量单位配置，例如，配置1MB代表1048576字节。 | | cpd | 附加参数，可选 | 生成断点记录文件的文件夹，默认为运行obsutil命令的用户目录的子文件夹.obsutil_checkpoint。 每个分段复制任务会产生唯一对应的断点记录文件并保存至该文件夹的upload子文件夹下。分段任务执行成功后，对应的断点记录文件会被自动删除；分段任务执行失败或被中断后，下次执行该分段任务时会尝试通过对应的断点记录文件恢复任务。 | | r | 附加参数，批量复制时必选 | 按指定源桶的对象名前缀批量复制对象。 | | f | 附加参数，批量复制时可选 | 强制操作，不进行询问提示。 | | j | 附加参数，批量复制时可选 | 批量复制时的最大并发数，默认为配置文件中的defaultJobs。 注意： 对于未携带 crr 参数的桶间复制任务，该参数的取值范围上限为 10,000。 说明： 工具会保证该值至少为1。 | | exclude | 附加参数，批量复制时可选 | 不包含源对象的匹配模式，设置该参数后，如果待复制的对象名匹配该参数，则跳过该对象的复制。如：\*.txt，代表所有后缀为.txt的文件自动跳过，不复制。 - "\*"匹配多个任意字符，如："abc\*.txt"表示匹配所有以"abc"开头，中间可以包含任意数量的任意字符，以".txt"结尾的文件名。 - "?"匹配单个任意字符，如："abc?.txt"表示匹配所有以"abc"开头，中间包含1个任意字符，以".txt"结尾的文件名。 - 您可以使用"\\\*"代表匹配"\*"字符本身，使用"\\?"代表匹配"?"字符本身。 - 支持指定多个exclude参数，如 -exclude=\*.xxx -exclude=\*.xxx **约束限制：** 该匹配模式仅适用于对象名非"/"结尾的对象。 说明： - 建议使用引号传递该匹配模式（Linux/Mac操作系统使用单引号，Windows操作系统使用双引号）防止特殊符号被操作系统转义，导致不可预期的结果。 - 该匹配模式作用于对象全路径（含从根路径开始的对象前缀和对象名，例如，桶内对象路径为obs://bucket/src1/src2/test.txt，则对象的全路径为src1/src2/test.txt）。 | | include | 附加参数，批量复制时可选 | 包含源对象的匹配模式，设置该参数后，如果待复制的对象名匹配该参数，则复制该对象。如：\*.txt，代表所有后缀为.txt的对象将会被复制。 - "\*"匹配多个任意字符，如："abc\*.txt"表示匹配所有以"abc"开头，中间可以包含任意数量的任意字符，以".txt"结尾的文件名。 - "?"匹配单个任意字符，如："abc?.txt"表示匹配所有以"abc"开头，中间包含1个任意字符，以".txt"结尾的文件名。 - 您可以使用"\\\*"代表匹配"\*"字符本身，使用"\\?"代表匹配"?"字符本身。 - 支持指定多个include参数，如 -include=\*.xxx -include=\*.xxx **约束限制：** - 该匹配模式仅适用于对象名非"/"结尾的对象。 - 如果同时配置了exclude和include参数，则首先执行exclude的匹配规则，如果待复制的对象名不匹配exclude参数，则判断待复制的对象名是否匹配include参数，如果匹配则复制该对象，否则跳过该对象的复制。 **示例：** ``` ./obsutil cp obs://src-bucket/ obs://target-bucket/ -include=/src-object/* -f -r ``` 以上命令的含义是：复制src-bucket桶下符合匹配规则的文件到target-bucket桶下，匹配规则是以"src-object/"开头的对象名称。 说明： - 建议使用引号传递该匹配模式（Linux/Mac操作系统使用单引号，Windows操作系统使用双引号）防止特殊符号被操作系统转义，导致不可预期的结果。 - 该匹配模式作用于对象全路径（含从根路径开始的对象前缀和对象名，例如，桶内对象路径为obs://bucket/src1/src2/test.txt，则对象的全路径为src1/src2/test.txt）。 | | timeRange | 附加参数，批量复制时可选 | 复制对象时的时间段匹配模式，仅复制最后修改时间在该时间段内的对象。 该匹配模式优先级低于文件名匹配模式：exclude和include，即优先执行exclude和include参数匹配，然后执行该匹配模式。 - 该匹配模式表示的时间是UTC时间。 - 使用"time1-time2"，代表匹配的时间段，其中time1必须小于等于time2，格式为yyyyMMddHHmmss。 - 时间格式支持自动补全，例如：yyyyMMdd等价于yyyyMMdd000000，yyyyMM等价于yyyyMM01000000。 - 使用"\*-time2"，代表匹配最后修改时间在time2之前的所有文件，使用"time1-\*"，代表匹配最后修改时间time1之后的所有文件。 **该匹配模式仅适用于对象名非"/"结尾的对象。** | | mf | 附加参数，可选 | 设置名称匹配模式（include、exclude）和时间匹配模式（timeRange）对对象名以"/"结尾的对象也生效。 | | o | 附加参数，可选 | 生成结果清单文件的文件夹，命令执行完成后，会在该文件夹下生成结果清单文件（可能包含成功结果、失败结果、警告结果三个文件）。 默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。 - 结果清单文件命名规则：cp_{succeed \| failed \| warning}_report_时间_TaskId.txt。 - 单个结果清单文件默认情况下最大为30MB，可在配置文件中通过recordMaxLogSize分别配置。 - 单个结果清单文件默认情况下最多可保留1024个文件，可在配置文件中通过recordBackups分别配置。 - 当涉及多文件/文件夹时，如需确认失败任务的具体错误信息，可参考结果清单文件夹下的失败结果清单文件"cp_failed_report_时间_TaskId.txt"和日志路径下的[日志文件](https://support.huaweicloud.com/utiltg-obs/obs_11_0056.html)。 | | bucket-cname | 附加参数，可选 | 指定桶绑定的自定义域名 说明： Util 5.7.9版本及以上支持该参数。 | | config | 附加参数，可选 | 运行当前命令时的自定义配置文件。可支持的配置参数请参考[配置参数说明](https://support.huaweicloud.com/utiltg-obs/obs_11_0035.html)。 | | e | 附加参数，可选 | 指定终端节点。 | | i | 附加参数，可选 | 指定用户的AK。 | | k | 附加参数，可选 | 指定用户的SK。 | | t | 附加参数，可选 | 指定用户的securitytoken。 | **响应结果：** | **字段名** | **描述** | |:---|:---| | Parallel | 请求中的-p参数。 | | Jobs | 请求中的-j参数。 | | Threshold | 请求中的-threshold参数。 | | PartSize | 请求中的-ps参数。 | | Exclude | 请求中的-exclude参数。 | | Include | 请求中的-include参数。 | | TimeRange | 请求中的-timeRange参数。 | | VerifyLength | 请求中的-vlength参数。 | | VerifyMd5 | 请求中的-vmd5参数。 | | CheckpointDir | 请求中的-cpd参数。 | | OutputDir | 请求中的-o参数。 | | ArcDir | 请求中的-arcDir参数。 | | Succeed count | 成功的任务数。 | | Failed count | 失败的任务数。 | | Skip count | 增量上传/下载/复制、同步上传/下载/复制跳过的任务数。 说明： 跳过的任务数也会记录到成功的任务数中。 | | Warning count | 执行完成但包含警告的任务数。 说明： - 产生警告的任务可能是失败的也可能是成功的，需要根据成功或失败的结果清单进一步判断。 - 产生警告的任务数与成功/失败任务数是相互独立的，总任务数仍是成功的任务数+失败的任务数。 | | Succeed bytes | 成功上传的字节数。 | | max cost | 所有任务中的最长耗时，单位：毫秒。 | | min cost | 所有任务中的最短耗时，单位：毫秒。 | | average cost | 平均耗时，单位：毫秒。 | | average tps | 平均每秒的任务完成个数。 | | Task id | 每次运行的唯一标识号，用于查找批量任务生成的结果清单文件。 |