使用OBS实现跨账号跨区域桶之间数据复制

OBS支持通过管理控制台、API、obsutil方式配置跨账号跨区域复制，不支持通过SDK、OBS Browser+方式配置跨账号跨区域复制。

1. 在OBS管理控制台左侧导航栏选择“桶列表”。
2. 在桶列表中，单击待操作的桶，进入“对象”页面。
3. 在左侧导航栏，单击“数据管理 > 跨区域复制”。
4. 勾选“我已了解并同意”，然后单击“创建规则”，系统将弹出“创建跨区域复制规则”对话框，如图1所示。
   图1 创建跨区域复制规则
   

   

   • 源桶和目标桶的多版本控制状态必须保持一致。
   • 一个源桶的跨区域复制只能有一个目标桶和IAM委托，后面创建的规则中的目标桶和IAM委托会覆盖已创建规则的目标桶和委托。

5. 根据业务规划配置跨区域复制规则，参数的详细说明如表3所示。

   表3 跨区域复制规则参数

   参数		说明
   是否启用		选择启用或者禁用当前规则。源桶和目标桶的多版本控制状态必须保持一致。
   源桶	复制对象	在源桶中选择要复制的对象。 所有对象：将源桶中的所有对象复制到目标桶中。 按前缀匹配：将源桶中匹配该前缀的对象复制到目标桶中。 按过滤条件匹配：允许或拒绝源桶中符合过滤条件的对象被复制到目标桶中。
   	前缀	当“复制对象”选择“按前缀匹配”时，需要配置前缀，表示源桶中匹配该前缀的对象会被复制到目标桶中。 输入的对象名前缀不能为空，长度限制为1024个字符。 如果指定的前缀名与某条已配置的规则指定的前缀名存在包含关系，OBS会将两条规则视为同一条，而禁止您配置本条规则。例如，系统中已存在指定前缀名为“abc”的规则，则不允许再配置指定前缀以“abc”字段开头的规则。 如果要复制文件夹，对象名前缀需要使用“/”作为最后一个字符。例如：folder1/。
   	过滤效力	当“复制对象”选择“按过滤条件匹配”时，需要配置该参数，表示允许或拒绝源桶中符合过滤条件的对象被复制到目标桶中。 允许复制：源桶中符合过滤条件的对象将被复制到目标桶中。 拒绝复制：源桶中符合过滤条件的对象将不被复制到目标桶中。
   	标签	当“复制对象”选择“按过滤条件匹配”时，需要配置该参数。 使用对象标签作为过滤条件，表示允许或拒绝源桶中带有指定标签的对象复制到目标桶中。 当“过滤效力”选择“允许复制”时，最多可以配置10个标签。配置多个标签作为过滤条件，表示同时满足所有标签的对象才会被复制到目标桶中。 当“过滤效力”选择“拒绝复制”时，仅支持配置1个标签。
   	同步历史对象	选择是否将创建本规则前已经存在于源桶中的对象同步复制到目标桶。 默认不同步。
   	同步删除操作	选择同步后源桶的对象删除操作会同步到目标桶， 并且不可恢复，为确保您的数据有效性，不推荐此配置，建议您选择不同步。
   目标桶	桶归属	选择目标桶为和源桶同账号下的桶或跨账号下的桶。此处选择“在另一个账号中指定一个桶”。 在当前账号中选择一个桶：表示目标桶和源桶属于同一账号，为同账号跨区域桶之间进行数据复制。 在另一个账号中指定一个桶：表示目标桶和源桶不属于同一账号，或源桶中存在非源桶拥有者上传的数据，为跨账号跨区域桶之间进行数据复制。 在配置跨账号跨区域复制规则前，需要先进行如下操作： 必须先在目标桶中配置桶策略，授予源桶拥有者除“DeleteBucket”、“PutBucketPolicy”和“PutBucketAcl”外的所有权限，才能将源桶中的对象复制到目标桶中。相关权限配置，请参见自定义创建桶策略（可视化视图）。 如果源桶中有非源桶拥有者上传的对象时，必须先在源桶配置桶ACL，给源桶的拥有者授予“FULL_CONTROL”权限，同时设置对象读权限（对应API中“Delivered”设为“true”），才能将源桶中其他账号的对象复制到目标桶中。可通过编辑源桶拥有者的ACL实现。 如果在复制源对象内容到目标桶的同时，还需要复制源对象的ACL到目标桶，则必须先在目标桶中设置桶ACL，给源桶拥有者授予“FULL_CONTROL”权限，同时设置对象读权限（对应API中“Delivered”设为“true”）。 关于配置桶ACL，请参见配置桶ACL；关于“FULL_CONTROL”权限的说明，请参见使用自定义ACL。
   	账号ID	输入目标桶所属的账号ID。当桶归属选择“在另一个账号中指定一个桶”时，需要配置该参数。 当源桶中存在非源桶拥有者上传的对象且需要将该类对象复制到源桶拥有者在另一区域的桶（目标桶）中时，此处填写源桶拥有者的账号ID。 当需要将源桶中的对象复制到另一账号在另一区域的桶（目标桶）中时，此处填写目标桶拥有者的账号ID。 如何获取账号ID，请参见获取账号、IAM用户、项目、用户组、区域、委托的名称和ID。
   	桶名称	输入目标桶的名称。当桶归属选择“在另一个账号中指定一个桶”时，需要配置该参数。 如何查找目标桶名称，请参见列举桶。
   	副本对象拥有者为目标桶归属账号	设置被复制到目标桶中的副本对象的归属账号。当桶归属选择“在另一个账号中指定一个桶”时，需要配置该参数。 默认勾选，表示副本对象的归属权和访问权转移至目标桶归属账号。 如果不勾选，则副本对象的归属权和访问权仍和在源桶中的保持一致。
   	修改复制对象的存储类别	修改从源桶复制到目标桶的对象的存储类别。 默认不勾选，即复制到目标桶的对象和源桶对象的存储类别一致。 勾选后，可以配置复制到目标桶的对象的存储类别。
   权限	复制使用KMS加密的对象	复制源桶中使用KMS加密的对象到目标桶。无论是否勾选，OBS均会尝试复制KMS加密对象。 当桶归属选择“在另一个账号中指定一个桶”时，不支持跨账号跨区域复制SSE-KMS加密的对象，因此该参数保持默认，不勾选。
   	IAM委托	将您资源的操作权限委托给OBS，OBS使用此委托执行对象的跨区域复制。 第一次使用时，您需要单击“查看IAM委托”去创建一个新的委托用于跨区域复制，创建委托操作步骤请参见创建用于跨区域复制的委托。如果已经创建，可以从下拉列表中选择。 所创建或选择的IAM委托要求如下： 此IAM委托必须为“对象存储服务 OBS”的云服务委托，委托需要具有表4中的OBS权限。 如果勾选了“复制使用KMS加密的对象”，委托还需要具有“KMS CMKFullAccess”权限，委托的授权范围选择“指定区域项目资源”并选择源桶和目标桶所在区域。

   表4 委托需要的OBS权限

   操作	描述
   obs:object:GetObject	获取对象内容、获取对象元数据。
   obs:object:DeleteObjectVersion	删除对象、批量删除对象。
   obs:object:PutObjectVersionAcl	设置对象ACL。
   obs:object:AbortMultipartUpload	取消多段上传任务。
   obs:object:PutObjectAcl	设置对象ACL。
   obs:object:DeleteObject	删除对象、批量删除对象。
   obs:bucket:HeadBucket	获取桶元数据。
   obs:object:PutObject	PUT上传、POST上传、复制对象、追加写对象、初始化上传段任务、上传段、合并段
   obs:object:GetObjectVersionAcl	获取对象ACL。
   obs:bucket:GetBucketVersioning	获取桶的多版本状态。
   obs:bucket:ListBucketMultipartUploads	列举多段上传任务。
   obs:object:ListMultipartUploadParts	列举已上传的段。
   obs:object:ModifyObjectMetaData	修改对象元数据。
   obs:bucket:ListBucketVersions	列举桶内多版本对象。
   obs:bucket:ListBucket	列举桶内对象。
   obs:object:GetObjectVersion	获取对象内容、获取对象元数据。
   obs:object:GetObjectAcl	获取对象ACL。
   obs:bucket:GetReplicationConfiguration	获取桶的跨区域复制配置。

6. （可选）创建IAM委托，请参见创建用于跨区域复制的委托。
7. 单击“确定”，完成跨账号跨区域复制规则创建。

设置桶的跨区域复制配置，配置“AccessControlTranslation”参数。

使用obsutil工具进行跨账号跨区域复制对象，需要开启跨区域复制模式，即“crr”参数必选。

• 复制对象或批量复制时，请确保OBS桶中的源对象不发生变化，否则可能产生复制失败或者数据不一致的问题。
• 如果被复制对象的存储类型为cold，必须首先恢复被复制对象，否则无法复制成功。
• 复制时需要有被复制对象的读权限和目标桶的写权限。
• 如果没有开启客户端跨区域复制模式，复制的源桶和目标桶必须在同一个区域（Region）。
• 如果源桶是并行文件系统（POSIX），则目标桶必须是并行文件系统。

约束限制：

• 复制的源路径和目标路径不能完全相同。
• 批量复制时，源路径和目标路径不能相互嵌套：
  • 目标路径以源路径为前缀时，可能会产生递归复制。
  • 源路径以目标路径为前缀时，可能会产生覆盖拷贝。

命令结构：

• Windows操作系统
  • 复制单个对象

    obsutil cp obs://srcbucket/key obs://dstbucket/[dest] [-dryRun] [-u] [-crr] [-vlength] [-vmd5] [-p=1] [-threshold=52428800] [-versionId=xxx] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]

  • 批量复制对象

    obsutil cp obs://srcbucket[/key] obs://dstbucket[/dest] -r [-dryRun] [-f] [-flat] [-u] [-crr] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]

• macOS/Linux操作系统
  • 复制单个对象

    ./obsutil cp obs://srcbucket/key obs://dstbucket/[dest] [-dryRun] [-u] [-crr] [-vlength] [-vmd5] [-p=1] [-threshold=52428800] [-versionId=xxx] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-cpd=xxx] [-fr] [-o=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]

  • 批量复制对象

    ./obsutil cp obs://srcbucket[/key] obs://dstbucket[/dest] -r [-dryRun] [-f] [-flat] [-u] [-crr] [-vlength] [-vmd5] [-j=1] [-p=1] [-threshold=52428800] [-acl=xxx] [-sc=xxx] [-meta=aaa:bbb#ccc:ddd] [-ps=auto] [-include=*.xxx] [-exclude=*.xxx] [-timeRange=time1-time2] [-mf] [-o=xxx] [-cpd=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]

运行示例：

• 以Windows操作系统为例，复制单个对象的运行示例如下：

  obsutil cp obs://bucket-test/key obs://bucket-test2 -crr
  Start at 2024-09-30 08:30:09.0815415 +0000 UTC
  
  Parallel:      3                   Jobs:          3
  Threshold:     50.00MB             PartSize:      auto
  CheckpointDir: xxxx
  
  [=====================================================] 100.00% 6/s 0s
  Copy successfully, 19B, obs://bucket-test/key --> obs://bucket-test2/key
  ext.txt, cost [1708], status [200], request id [00000192420D227E4017336A12F1DC22]

• 以Windows操作系统为例，批量复制对象的运行示例如下：

  obsutil cp obs://bucket-test/temp/ obs://bucket-test2 -r -f -crr
  Start at 2024-09-30 08:34:02.7819703 +0000 UTC
  
  Parallel:      5                   Jobs:          5
  Threshold:     50.00MB             PartSize:      auto
  CheckpointDir: xxxx
  
  Task id: 0476929d-9d23-4dc5-b2f8-0a0493f027c5
  OutputDir: xxxx
  
  [=============================================================] 100.00% 10/s 0s
  Succeed count:   5         Failed count:    0
  Metrics [max cost:298 ms, min cost:192 ms, average cost:238.00 ms, average tps:9.71, transferred size: 7.20MB]
  Task id: 0476929d-9d23-4dc5-b2f8-0a0493f027c5

• 更多运行示例，请参见常见示例。

参数说明：

./obsutil cp obs://src-bucket/ obs://target-bucket/ -include=/src-object/* -f -r

响应结果：