更新时间:2024-12-24 GMT+08:00

创建同步任务

使用场景

同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步接口,即时将数据同步到华为云OBS侧。

同步任务依托于源端事件触发器、函数工作流服务以及公网传输,可能存在不稳定因素,无法保证100%同步成功,因此不建议用于容灾场景。

操作场景

填写源端和目的端AK/SK并配置同步任务参数,用于后续源端同步请求数据迁移和查看同步任务详情。

目前只支持华北-北京四、华东-上海一地区。

前提条件

  • 已获取源端和目的端账号的AK/SK。
    • 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。获取方式参见源端桶权限获取
    • 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取
  • 已在华为云OBS服务中创建桶。
  • 您过去24小时内已创建的迁移任务未满1000000个。
  • 您名下处于“等待中”状态的迁移任务未满1000000个。
  • 您名下处于“同步中”状态的同步任务未满5个。

操作步骤

  1. 登录管理控制台,进入“对象存储迁移服务”页面。
  2. 在左侧导航树,选择“同步任务”。
  3. 单击“创建同步任务”。
  4. 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入“创建同步任务”页面。
  5. 选择源端/目的端。

    1. 选择源端,具体参数说明参见表1
    表1 源端选择参数

    参数

    说明

    数据源

    待迁移的源端云服务提供商,包括:

    • 华为云
    • 亚马逊云
    • 阿里云
    • 微软云
    • 腾讯云
    • 谷歌云
    • 七牛云
    • 青云
    • 百度云
    • 金山云
    • 优刻得

    appID

    如果源端云服务提供商为腾讯云,则需要输入该参数,appID 是您腾讯云账户的一个标识。

    访问密钥

    源端云服务提供商的访问密钥(AK)。最大长度是100个字符。

    私有访问密钥

    源端云服务提供商的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。

    是否指定桶名

    当您不具备列举桶权限,但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数,通过指定源端桶的路径来进行迁移。

    设置说明参见表2

    表2 “是否指定桶名”的设置说明

    如果...

    那么...

    开启“是否指定桶名”

    1. “选择区域”下拉框中选择源端桶所在区域。
    2. “桶名或路径”文本框中输入源端桶名或带桶名的路径。
    3. 单击“连接源端桶”

      对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,会提示连接桶成功。

    关闭“是否指定桶名”(默认设置)

    1. 单击“列举源端桶”

      对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,且您的账号具有列举桶名的权限,则会在“桶名”中列举您名下的所有桶。

    2. “桶名”中选择待迁移数据所在的桶。
    2. 选择目的端,具体参数参见表3
    表3 目的端选择参数

    参数

    说明

    访问密钥

    华为云的访问密钥(AK)。最大长度是100个字符。

    私有访问密钥

    华为云的私有访问密钥(SK),与AK相匹配。最大长度是100个字符

    桶名

    存放迁移数据的华为云OBS桶。

  6. 单击“下一步”,设置任务参数。具体选项参见表4

    表4 任务参数

    参数

    说明

    元数据迁移方式

    • 忽略元数据:OMS只迁移源端Content-Type、Content-Encoding元数据。
    • 保留元数据:OMS会迁移支持范围内的元数据。支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。

    服务端加密

    如果开启“服务端加密”,所有数据在迁移到OBS服务后都将被加密存储。

    说明:

    默认使用SSE-KMS加密,不支持其它加密方式或者自定义加密。

    使用KMS服务端加密可能会降低迁移速率10%左右。

    当前区域支持KMS加密时,此参数才可用。

    配置存储策略

    选择迁移到华为云OBS后,对象的存储类型。存储策略说明请参见存储类型介绍

    解冻归档数据

    归档类型的对象存储要实现迁移,必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时,可以勾选此选项。

    • 选择‘是’:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。
      须知:
      • 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里云、金山云、腾讯云。
      • 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参考各云服务提供商的相关文档。
      • 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是归档数据取回费用,这些均由源端云服务提供商向您收取。
      • 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。
      • 默认取回时间为3天,当迁移对象数超过300 w或容量大小超过3 TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。
      • 在迁移任务开始后,暂停/重启操作会导致所有取回重新执行,造成解冻周期延长、存储费用增加,请谨慎操作。
      • 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目的端桶的存储类型保持一致,与源端对象存储类型无关。
    • 选择‘否’:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。

    同名对象覆盖方式

    • 大小/最后修改时间对比覆盖:对于源端和目的端存在的同名对象,保留最后修改时间较新的对象;如果最后修改时间相同,大小不同,则源端覆盖目的端;如果最后修改时间和大小都相同,则跳过迁移。
    • 不覆盖:对于源端和目的端存在的同名对象,跳过源端对象,保留目的端对象。
    • CRC64对比覆盖:对于源端和目的端存在的同名对象,对比源端和目的端对象元数据中的CRC64值,相同则跳过,不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间对比覆盖策略执行。
      说明:
      • 目前仅支持华为云、阿里云、腾讯云。
      • 需满足源端、目的端对象的加密状态一致。
    • 全覆盖:对于源端和目的端存在的同名对象,源端对象直接覆盖目的端对象。

    一致性校验

    • 大小/最后修改时间校验:默认配置,通过对比源端和目的端对象大小+最后修改时间,判断迁移后数据是否完整。
    • CRC64校验:通过对比源端和目的端对象元数据中CRC64值,判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间校验策略。

  7. 单击“下一步”,进入确认信息页面。

    确认同步任务信息的设置,并启动同步。

    1. 浏览各项同步任务参数的设置是否正确。

    如果有误,可以单击“上一步”返回之前的页面进行修改。

    2. 单击“启动同步”。

    提示任务提交成功。返回任务列表查看该同步任务。

    关于状态说明,参见表5 同步任务状态

    表5 同步任务状态

    状态

    说明

    同步中

    表明源端对象存储服务的数据正在进行同步。

    说明:

    创建同步任务后,该任务状态显示为同步中,仅代表可以接受源端发送的同步请求并进行同步,需要您前往源端完成同步请求的配置,详情请参见源端配置同步请求。通过源端配置,使得源端新增/修改对象能够发送同步请求。配置完成后,您的数据将开始进行同步迁移。

    已停止

    表明停止对源端对象存储服务数据的同步。

    说明:

    如要停止对源端对象存储服务数据的同步,请先在源端执行暂停操作,建议等待十五分钟后,然后在同步任务页面单击“停止”。否则由于时间差可能会造成部分已接收到的同步请求对象同步失败。

  8. 操作同步任务。

    1. 启动同步任务。

    • 状态为“已停止”的同步任务,才可执行同步任务的重新启动。
    • 停止后再次启动同步任务,出于安全考虑,系统不保存个人数据,需要重新输入源端,目的端访问密钥以及私有访问密钥,完成身份验证。

    2. 停止同步任务。

    • 状态为“同步中”的同步任务,才可执行同步任务的停止。
    • 如要停止对源端对象存储服务数据的同步,请先在源端执行暂停操作,建议等待十五分钟后,然后在同步任务页面单击“停止”。否则由于时间差可能会造成部分已接收到的同步请求对象同步失败。

    3. 删除同步任务。

    • 状态为“已停止”的同步任务,才可执行同步任务的删除。