更新时间:2026-07-24 GMT+08:00
分享

创建同步任务

通过在源端对象存储服务中配置事件触发器,当检测到对象新增或修改时,系统通过函数工作流服务自动调用OMS服务的数据同步接口,将变更数据即时同步至华为云OBS。

约束与限制

  • 当前账号过去24小时内已创建的迁移任务未满1000000个。
  • 当前账号下处于“等待中”状态的迁移任务未满1000000个。
  • 当前账号下处于“同步中”状态的同步任务未满5个。

操作流程

创建对象存储迁移同步任务的完整操作流程,请参见表1

表1 同步任务操作流程

操作步骤

说明

准备工作

  • 账号和权限准备:注册华为账号并开通华为云,完成实名认证,获取OMS的权限,并准备源端和目的端账号的AK、SK。
  • 提前创建目的端对象桶,用于存放迁移数据。

步骤一:选择源端和目的端参数

选择需要迁移的目的端和源端,填入对应的参数。

步骤二:设置任务参数,创建同步任务

配置任务参数,创建同步任务。

步骤三:确认并跟踪同步任务

确认配置同步任务所填写的信息。启动同步任务后,查看同步任务内资源的运行状态、迁移阶段等信息。

准备工作

创建同步任务前,请参考表2中的方法和要求,准备好账号、权限及目的端OBS桶。

表2 准备事项的方法和要求

事项

方法和要求

注册目的端华为云账号并配置权限

  1. 注册华为账号开通华为云并完成实名认证。如果您已开通华为云并进行实名认证,请忽略此步骤
    1. 访问华为云,单击“注册”。
    2. 根据提示信息完成注册开通,详细操作请参见注册华为账号并开通华为云
    3. 完成个人或企业账号实名认证。
  2. 创建IAM用户并授权。如果您使用华为账号(管理员账号)进行迁移,则跳过该步骤。
    1. 创建IAM用户。创建方法请参考创建IAM用户创建IAM用户(新版)
    2. 为IAM用户授权。

      为IAM用户授予“OMS Administrator”、"OBS Administrator"、“KMS Administrator”和“MgC MigrateAccess”等系统策略。授权方法请参考给IAM用户授权给IAM用户授权(新版)

      如果以上系统策略不满足您的授权要求,您还可以选择创建自定义策略进行授权。自定义策略内容和创建方法,请参见源端桶权限获取目的端桶权限获取

  3. 获取源端桶和目的端桶账号的AK/SK。

创建目的端对象桶

提前创建目的端对象桶,用于接收源端存储数据。具体操作请参见快速创建OBS桶

步骤一:选择源端和目的端参数

  1. 登录OMS管理控制台,进入“对象存储迁移服务”页面。
  2. 在左侧导航树,选择“同步任务”
  3. 单击“创建同步任务”
  4. 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入“创建同步任务”页面。
  5. 根据界面提示选择源端参数,具体参数参见表3

    表3 源端选择参数

    参数

    说明

    数据源

    待迁移的源端云服务提供商,包括:

    • 华为云
    • 亚马逊云(中国)
    • 阿里云
    • 微软云
    • 腾讯云
    • 谷歌云
    • 七牛云
    • 青云
    • 百度云
    • 金山云
    • 优刻得

    APP_ID

    如果源端云服务提供商为腾讯云,则需要输入该参数,APPID 是您腾讯云账户的一个标识。

    访问密钥

    源端云服务提供商的访问密钥(AK)。最大长度是100个字符。

    私有访问密钥

    源端云服务提供商的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。

    KMS密钥

    不开启:不会使用KMS密钥来加密您的源端密钥。

    开启:启用KMS密钥来加密您的源端密钥。

    启用该功能,需要同意委托授权OMS访问KMS。同意后会授予自定义策略,自定义策略包含的内容如下:

    • 查询密钥信息:"kms:cmk:get"
    • 解密数据密钥:"kms:dek:decrypt"
    • 创建不含明文数据密钥:"kms:dek:create"

    如果您有授权资格,则可直接授权。授权成功后,无需再次授权。授权成功后,进行如下操作:

    在密钥列表下拉菜单中选择自定义密钥。如果还未创建密钥,创建方式请参见创建密钥。暂时只支持的密钥算法为AES_256和SM4。

    说明:

    使用KMS加密模式会收取相应费用。计费详情请参考价格详情

    是否指定桶名

    当您不具备列举桶权限,但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数,通过指定源端桶的路径来进行迁移。

    设置说明参见表4

    表4 “是否指定桶名”的设置说明

    参数

    说明

    开启“是否指定桶名”

    1. “选择区域”下拉框中选择源端桶所在区域。
    2. “桶名或路径”文本框中输入源端桶名或带桶名的路径。对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,会提示连接桶成功。

    关闭“是否指定桶名”(默认设置)

    单击“桶”下拉框或者单击“刷新”,选择待迁移数据所在的桶。

    对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,且您的账号具有列举桶名的权限,则会在“桶”中列举您名下的所有桶。

    说明:

    当源端AK/SK没有列举桶权限时,需要开启“是否指定桶名”。

  6. 选择目的端,具体参数参见表5

    表5 目的端选择参数

    参数

    说明

    访问密钥

    华为云的访问密钥(AK)。最大长度是100个字符。

    私有访问密钥

    华为云的私有访问密钥(SK),与AK相匹配。最大长度是100个字符

    KMS密钥

    不开启:不会使用KMS密钥来加密您的目的端密钥。

    开启:启用KMS密钥来加密您的目的端密钥。

    启用该功能,需要同意委托授权OMS访问KMS。同意后会授予自定义策略,自定义策略包含的内容如下:

    • 查询密钥信息:"kms:cmk:get"
    • 解密数据密钥:"kms:dek:decrypt"
    • 创建不含明文数据密钥:"kms:dek:create"

    如果您有授权资格,则可直接授权。授权成功后,无需再次授权。授权成功后,进行如下操作:

    从KMS密钥中选择,在下拉菜单中选择自定义密钥。如果还未创建密钥,创建方式请参见创建密钥。暂时只支持的密钥算法为AES_256和SM4。

    说明:

    使用KMS加密模式会收取相应费用。计费详情请参考价格详情

    桶名

    存放迁移数据的华为云OBS桶。

步骤二:设置任务参数,创建同步任务

  1. 单击“下一步”,进入“设置任务参数”页签。
  2. 任务参数具体选项参见表6

    表6 任务参数

    参数

    说明

    任务名称(可选)

    自定义任务名称。若不填写该参数,将会默认任务名称为“源端桶-目的端桶_UUID”。确认创建后,名称暂不支持修改。

    元数据迁移方式

    选择是否迁移元数据。

    • 选择“忽略元数据”,为保证迁移任务正常运行,OMS将只迁移源端Content-Type、Content-Encoding元数据。
    • 选择“保留元数据”,OMS会迁移支持范围内的元数据。支持中文字符、英文字符、数字和中划线“-”迁移。除上述字符外,其他所有字符均不支持。

      支持的元数据类型范围:Content-Type,Content-Encoding,Content-Disposition,Content-Language,Cache-Control,Expires,WebsiteRedirectLocation,Storage-Class和自定义元数据。

    配置存储策略

    选择迁移到华为云OBS后,对象的存储类型。选择默认配置时,对象将跟随目的端桶的存储策略。其他存储策略的详细说明请参见存储类型介绍

    解冻归档数据

    归档类型的对象存储要实现迁移,必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时,可以勾选此选项。目前支持以下云服务提供商的归档数据的自动解冻:华为云(归档存储(COLD))、阿里云(归档存储(Archive))、金山云(归档存储(ARCHIVE))、腾讯云(归档存储(ARCHIVE))、优刻得(归档存储(ARCHIVE))。

    • 选择“关闭”:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。
    • 选择“开启”:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。
      说明:
      • 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参考各云服务提供商的相关文档。
      • 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是归档数据取回费用,这些均由源端云服务提供商向您收取。
      • 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。
      • 默认取回时间为3天,当迁移对象数超过300W或容量大小超过3TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。
      • 在迁移任务开始后,暂停/重启操作会导致所有取回重新执行,造成解冻周期延长、存储费用增加,请谨慎操作。
      • 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目的端桶的存储类型保持一致,与源端对象存储类型无关。

    同名对象覆盖方式

    • 大小/最后修改时间对比覆盖:默认配置。迁移前源端对象与目的端对象同名时,通过对比源端和目的端对象大小和最后修改时间,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。优先对比源端与目的端的最后修改时间,目的端对象的最后修改时间晚于源端对象的最后修改时间,则代表该对象目的端已存在或目的端发生修改,跳过不迁移;目的端对象的最后修改时间早于源端对象的最后修改时间,则代表源端对象发生修改,迁移覆盖目的端;如果最后修改时间相同,源端与目的端大小不同,则执行覆盖。
    • 不覆盖:对于源端和目的端存在的同名对象,跳过源端对象,保留目的端对象。
    • CRC64对比覆盖:目前仅支持华为云/阿里云/腾讯云。迁移前源端对象与目的端对象同名时,通过对比源端和目的端对象元数据中CRC64值是否相同,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。
    • 全覆盖:对于源端和目的端存在的同名对象,源端对象直接覆盖目的端对象。

    一致性校验

    • 大小/最后修改时间校验:默认配置。迁移前后,通过对比源端和目的端对象大小+最后修改时间,判断对象是否已存在或迁移后数据是否完整。源端与目的端同名对象大小相同,且目的端对象的最后修改时间不早于源端对象的最后修改时间,则代表该对象已存在/迁移成功。
    • CRC64校验:目前仅支持华为云/阿里云/腾讯云。迁移前后,通过对比源端和目的端对象元数据中CRC64值是否相同,判断对象是否已存在/迁移完成。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用大小/最后修改时间校验方式来校验。

    描述

    输入内容不允许超过255个字符。

步骤三:确认并跟踪同步任务

  1. 同步任务配置完成后,单击页面右下角“下一步”,进入确认信息页面。
  2. 确认同步任务信息的设置,并启动同步。

    1. 浏览各项迁移参数的设置是否正确。

      如果有误,可以单击“上一步”返回之前的页面进行修改。

    2. 单击“启动同步”。仔细阅读弹出的启动前确认,单击“确定”,进入“任务提交成功”页面。

      查看任务列表已新增该任务。

  3. 在任务列表,单击“任务名称/ID”,进入“任务详情”页面,可查看“接收同步请求对象数(本月)”“同步对象数(本月)”“同步对象容量(本月)”以及您在创建同步任务时设置的各项参数信息。其他相关操作请参考表6 同步任务其他操作

    表7 同步任务其他操作

    操作

    说明

    启动同步任务

    仅当同步任务的状态为“已停止”时,才能执行重新启动操作。出于安全考虑,停止后再次启动同步任务时,系统不会保存个人数据,需要重新输入源端、目的端的访问密钥以及私有访问密钥,以完成身份验证。

    停止同步任务

    仅当同步任务状态为“同步中”时,才可执行停止操作。如需停止对源端对象存储服务数据的同步,请先在源端执行暂停操作,建议等待十五分钟后,再在同步任务页面单击“停止”。否则,由于时间差,部分已接收的同步请求对象可能会同步失败。

    删除同步任务

    仅当同步任务状态为“已停止”时,才可执行停止操作。

相关链接

相关文档