创建同步任务

使用场景

同步任务用于源端变更对象主动同步的场景，通过在源端对象存储服务配置事件触发器，当出现对象新增或修改时，通过函数工作流服务，主动调用OMS服务的数据同步接口，即时将数据同步到华为云OBS侧。

注意：

同步任务依托于源端事件触发器、函数工作流服务以及公网传输，可能存在不稳定因素，无法保证100%同步成功，因此不建议用于容灾场景。

操作场景

填写源端和目的端AK/SK并配置同步任务参数，用于后续源端同步请求数据迁移和查看同步任务详情。

说明：

目前只支持华北-北京四、华东-上海一地区。

前提条件

• 已注册华为账号并开通华为云。

• 已获取源端和目的端账号的AK/SK。
  • 源端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容。获取方式参见源端桶权限获取。
  • 目的端桶需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容，上传对象，列举已上传段，取回归档存储对象。获取方式参见目的端桶权限获取。
• 已在华为云OBS服务中创建桶。
• 您过去24小时内已创建的迁移任务未满1000000个。
• 您名下处于“等待中”状态的迁移任务未满1000000个。
• 您名下处于“同步中”状态的同步任务未满5个。

操作步骤

1. 登录管理控制台，进入“对象存储迁移服务”页面。
2. 在左侧导航树，选择“同步任务”。
3. 单击“创建同步任务”。
4. 仔细阅读弹出的隐私协议声明，勾选“同意以上隐私协议”，单击“确定”，进入“创建同步任务”页面。
5. 选择源端/目的端。
   1. 选择源端，具体参数说明参见表1。

   表1 源端选择参数

   参数	说明
   数据源	待迁移的源端云服务提供商，包括： 华为云 亚马逊云 阿里云 微软云 腾讯云 谷歌云 七牛云 青云 百度云 金山云 优刻得
   appID	如果源端云服务提供商为腾讯云，则需要输入该参数，appID 是您腾讯云账户的一个标识。
   访问密钥	源端云服务提供商的访问密钥（AK）。最大长度是100个字符。
   私有访问密钥	源端云服务提供商的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。
   是否指定桶名	当您不具备列举桶权限，但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数，通过指定源端桶的路径来进行迁移。 设置说明参见表2。

   表2 “是否指定桶名”的设置说明

   如果...	那么...
   开启“是否指定桶名”	在“选择区域”下拉框中选择源端桶所在区域。 在“桶名或路径”文本框中输入源端桶名或带桶名的路径。 单击“连接源端桶”。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确，会提示连接桶成功。
   关闭“是否指定桶名”（默认设置）	单击“列举源端桶”。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确，且您的账号具有列举桶名的权限，则会在“桶名”中列举您名下的所有桶。 在“桶名”中选择待迁移数据所在的桶。

   2. 选择目的端，具体参数参见表3。

   表3 目的端选择参数

   参数	说明
   访问密钥	华为云的访问密钥（AK）。最大长度是100个字符。
   私有访问密钥	华为云的私有访问密钥（SK），与AK相匹配。最大长度是100个字符
   桶名	存放迁移数据的华为云OBS桶。

6. 单击“下一步”，设置任务参数。具体选项参见表4。

   表4 任务参数

   参数	说明
   元数据迁移方式	忽略元数据：OMS只迁移源端Content-Type、Content-Encoding元数据。 保留元数据：OMS会迁移支持范围内的元数据。支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外，其他所有字符均不支持。
   服务端加密	如果开启“服务端加密”，所有数据在迁移到OBS服务后都将被加密存储。 说明： 默认使用SSE-KMS加密，不支持其它加密方式或者自定义加密。 使用KMS服务端加密可能会降低迁移速率10%左右。 当前区域支持KMS加密时，此参数才可用。
   配置存储策略	选择迁移到华为云OBS后，对象的存储类型。存储策略说明请参见存储类型介绍。
   解冻归档数据	归档类型的对象存储要实现迁移，必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时，可以勾选此选项。 选择‘是’：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。 须知： 目前支持以下云服务提供商的归档数据的自动解冻：华为云、阿里云、金山云、腾讯云。 解冻预计耗时1分钟及以上，对象越大解冻耗时越长，超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异，具体请参考各云服务提供商的相关文档。 解冻归档数据的过程中会产生两种费用，一是API调用费用，二是归档数据取回费用，这些均由源端云服务提供商向您收取。 归档数据的解冻状态会持续一段时间，在此时间内支持对象的下载/访问，超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。 默认取回时间为3天，当迁移对象数超过300 w或容量大小超过3 TB时，为避免迁移时间过长，数据再次归档后导致迁移失败，请选择迁移任务组方式迁移。 在迁移任务开始后，暂停/重启操作会导致所有取回重新执行，造成解冻周期延长、存储费用增加，请谨慎操作。 对象存储数据从源端云服务提供商迁移到华为云后，存储类型和目的端桶的存储类型保持一致，与源端对象存储类型无关。 选择‘否’：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。
   同名对象覆盖方式	大小/最后修改时间对比覆盖：对于源端和目的端存在的同名对象，保留最后修改时间较新的对象；如果最后修改时间相同，大小不同，则源端覆盖目的端；如果最后修改时间和大小都相同，则跳过迁移。 不覆盖：对于源端和目的端存在的同名对象，跳过源端对象，保留目的端对象。 CRC64对比覆盖：对于源端和目的端存在的同名对象，对比源端和目的端对象元数据中的CRC64值，相同则跳过，不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间对比覆盖策略执行。 说明： 目前仅支持华为云、阿里云、腾讯云。 需满足源端、目的端对象的加密状态一致。 全覆盖：对于源端和目的端存在的同名对象，源端对象直接覆盖目的端对象。
   一致性校验	大小/最后修改时间校验：默认配置，通过对比源端和目的端对象大小+最后修改时间，判断迁移后数据是否完整。 CRC64校验：通过对比源端和目的端对象元数据中CRC64值，判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间校验策略。

7. 单击“下一步”，进入确认信息页面。

   确认同步任务信息的设置，并启动同步。

   1. 浏览各项同步任务参数的设置是否正确。

   如果有误，可以单击“上一步”返回之前的页面进行修改。

   2. 单击“启动同步”。

   提示任务提交成功。返回任务列表查看该同步任务。

   关于状态说明，参见表5 同步任务状态。

   表5 同步任务状态

   状态	说明
   同步中	表明源端对象存储服务的数据正在进行同步。 说明： 创建同步任务后，该任务状态显示为同步中，仅代表可以接受源端发送的同步请求并进行同步，需要您前往源端完成同步请求的配置，详情请参见源端配置同步请求。通过源端配置，使得源端新增/修改对象能够发送同步请求。配置完成后，您的数据将开始进行同步迁移。
   已停止	表明停止对源端对象存储服务数据的同步。 说明： 如要停止对源端对象存储服务数据的同步，请先在源端执行暂停操作，建议等待十五分钟后，然后在同步任务页面单击“停止”。否则由于时间差可能会造成部分已接收到的同步请求对象同步失败。

8. 操作同步任务。

   1. 启动同步任务。

   说明：

   • 状态为“已停止”的同步任务，才可执行同步任务的重新启动。
   • 停止后再次启动同步任务，出于安全考虑，系统不保存个人数据，需要重新输入源端，目的端访问密钥以及私有访问密钥，完成身份验证。

   2. 停止同步任务。

   说明：

   • 状态为“同步中”的同步任务，才可执行同步任务的停止。
   • 如要停止对源端对象存储服务数据的同步，请先在源端执行暂停操作，建议等待十五分钟后，然后在同步任务页面单击“停止”。否则由于时间差可能会造成部分已接收到的同步请求对象同步失败。

   3. 删除同步任务。

   说明：

   • 状态为“已停止”的同步任务，才可执行同步任务的删除。