更新时间:2024-02-04 GMT+08:00
分享

创建迁移任务组

适用场景

适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。

OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。

背景信息

对象存储迁移服务支持迁移以下的源端云服务商或数据源类型:

  • 华为云
  • 亚马逊云(中国)
  • 阿里云
  • 微软云
  • 腾讯云
  • 谷歌云
  • 七牛云
  • 青云
  • 百度云
  • 金山云
  • 优刻得
  • HTTP/HTTPS数据源

本节以华为云为源端数据源为例进行介绍,其余云服务商创建迁移任务组的详细步骤,您可以参考各云服务商迁移教程

迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产生的费用都遵从源端云服务提供商的计费规则并由其向您收取。

前提条件

  • 注册华为帐号并开通华为云,完成实名认证
  • 已获取源端和目的端帐号的AK/SK。
    • 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。获取方式参见源端桶权限获取
    • 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取
  • 已在华为云OBS服务中创建桶。
  • 24小时内,单个Region内创建迁移任务组数量未满300个。
  • 您过去24小时内已创建的迁移任务未满5000个。
  • 您名下处于“等待中”状态的迁移任务未满5000个。

操作步骤

  1. 登录管理控制台。
  2. 单击管理控制台左上角的,在下拉框中选择区域。
  3. 单击“服务列表”,选择“迁移 > 对象存储迁移服务 OMS”。

    进入“对象存储迁移服务”页面。

  4. 在左侧导航树,选择“迁移任务组”,进入到“迁移任务组”页面。
  5. 单击页面右上角“创建迁移任务组”。

    仔细阅读弹出的服务声明,勾选“同意以上服务声明”,单击“确定”,进入“创建迁移任务组”页面。

  6. 选择源端/目的端。

    1. 选择源端,具体参数参见表1
      表1 源端选择参数

      参数

      说明

      数据源

      待迁移的源端云服务提供商。

      (可选)appID

      当源端云服务提供商为腾讯云,则需要输入该参数,appID 是您腾讯云帐户的一个标识。

      访问密钥

      源端云服务提供商的访问密钥(AK)。最大长度是100个字符。

      私有访问密钥

      源端云服务提供商的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。

      是否指定桶名

      当您不具备列举桶权限,但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数,通过指定源端桶的路径来进行迁移。

      设置说明参见表2

      表2 “是否指定桶名”的设置说明

      如果...

      那么...

      开启“是否指定桶名”

      1. “选择区域”下拉框中选择源端桶所在区域。
      2. “桶名或路径”文本框中输入源端桶名或带桶名的路径。
      3. 单击“连接源端桶”
        说明:

        对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,会提示连接桶成功。

      关闭“是否指定桶名”(默认设置)

      1. 单击“列举源端桶”

        对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,且您的帐号具有列举桶名的权限,则会在“桶名”中列举您名下的所有桶。

      2. “桶名”中选择待迁移数据所在的桶。
    2. 选择目的端,具体参数参见表3
      表3 目的端选择参数

      参数

      说明

      访问密钥

      华为云的访问密钥(AK)。最大长度是100个字符。

      私有访问密钥

      华为云的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。

      输入访问密钥和私有访问密钥后,请单击“列举目的端桶”

      桶名

      存放迁移数据的华为云OBS桶。

  7. 单击“下一步”,进入“设置任务组参数”页签。
  8. 设置“源端配置选项”区域参数。

    1. 选择迁移方式。

      如果...

      那么...

      输入对象前缀

      在“添加对象数据”区域内输入对象数据名称或者名称前缀,系统会自动匹配出数据。您可以单击,从这些匹配到的迁移数据列表中删除不需要迁移的数据。

      说明:
      • 添加对象前缀时,如果对象文件在桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:桶名/文件夹/对象前缀。
      • 若不添加该参数,则默认迁移全桶的数据。
      • 待迁移的对象会被记录在txt类型的列表文件中(每个迁移任务对应一个列表文件),并存放在目的端桶的“oms/taskgroup/”路径下。当任务组迁移完成后,这些列表文件会保留下来,您可以手动删除它们。

      指定对象列表目录

      指定对象列表目录方式,一般用于增量迁移场景,用户需要将待迁移的源端对象名称写入对象列表文件,并将生成的对象列表文件放在华为云OBS桶中,对象存储迁移服务将会迁移指定对象列表文件中的所有对象。

      1. 选择“列表目录所在桶(华为云)”。
        说明:

        此参数中列出的桶是通过6.b中输入的目的端AK/SK得到的桶列表。

        请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。

      2. 在“选择对象列表目录”区域内单击“选择”,选择用户指定的对象列表文件,单击“确定”
      说明:
      • 对象列表文件大小不能超过1024 MB。
      • 对象列表目录下的文件个数不能超过2000个。
      • 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。
      • 对象列表文件必须是UTF-8无BOM格式编码格式。
      • 在对象列表文件中,每一行只能包含一个对象名称。如果对象名称包含特殊字符或空格,为了确保迁移过程的正确性,需要使用URL编码进行转换。

        例如:待迁移对象为“6-objs.txt”和“oms/考试计划.docx”,则对象列表文件中应写入如下内容:

        6-objs.txt
        oms%2F%E8%80%83%E8%AF%95%E8%AE%A1%E5%88%92.docx
      • 对象列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。
      • 对象列表文件中每行长度不要超过65535,否则会导致迁移失败。
      • 对象列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。
      • 对象列表文件如果是归档数据,迁移前需要先手动恢复,对象存储迁移服务才能访问和获取。

      指定URL列表目录

      指定URL列表目录方式,一般适用于HTTP或HTTPS源端的迁移场景,用户需要将待迁移的文件URL和目的端对象名称写入一个或多个URL列表文件(单个列表文件大小不能超过1 GB),并将生成的URL列表文件放在华为云OBS桶的指定目录中(目录下的文件个数不能超过2000个且必须是“.txt”类型的文件),对象存储迁移服务将会迁移OBS桶指定目录下所有URL列表文件中的对象。

      1. 选择“列表目录所在桶(华为云)”。
        说明:
        • 此参数中列出的桶是通过6.b中输入的目的端AK/SK得到的桶列表。
        • 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。
        • 出于安全考虑,若您的源端同时支持HTTP和HTTPS协议,建议迁移时使用HTTPS协议;若使用HTTP协议,会存在数据可能会被监听窃取、数据被篡改、中间人重放攻击等风险。
        • 如果待迁移内容为非公开内容时,建议不要将源端数据公开,采用其他非HTTP/HTTPS方式进行迁移。
        • URL列表迁移不支持URL重定向。
      2. 在“选择URL列表目录”区域内单击“选择”,选择用户指定的URL列表文件,单击“确定”。
        说明:
        • 单个URL列表文件大小不能超过1024 MB。
        • 所选URL目录下的文件个数不能超过2000个。
        • URL列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。
        • URL列表文件必须是UTF-8无BOM格式编码格式。
        • URL列表文件中每行只能包含一个URL和目的端对象名称。
        • URL列表文件中每行长度不要超过65535,否则会导致迁移失败。
        • URL列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。
        • URL列表文件中每行使用制表符(键盘上Tab键)\t分割URL和目的端对象名称请勿使用空格。格式为:[URL][制表符][目的端对象名称],其中源端对象名称如果包含中文、特殊字符必须使用URL Encode对URL编码;目的端对象名称如果包含中文、特殊字符也需要使用URL Encode编码。

          注意:

          URL编码仅从域名后第二个字符开始,不要将协议头、域名以及域名两侧的斜线转码,否则将导致格式校验错误。

          URL与目的端对象名称之间使用一个制表符(键盘上Tab键)进行分割,请勿使用空格。

          例如:
          http://xxx.xxx.xxx.xxx.com/doc/%e6%96%87%e4%bb%b61.txt doc/%e6%96%87%e4%bb%b61.txt http://xxx.xxx.xxx.xxx.com/doc/thefile2.txt doc/thefile2.txt http://xxx.xxx.xxx.xxx.com/the%20file.txt the%20file.txt http://xxx.xxx.xxx.xxx.com/the%20file2.txt the+file2.txt http://xxx.xxx.xxx.xxx.com/doc/thefile.txt doc/thefile.txt

          以上示例中,URL所表示的文件,被复制到目的端桶后,对象会被分别命名为:doc/文件1.txt、doc/the file2.txt、the file.txt、the file2.txt以及doc/thefile.txt。

        • URL列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。
    2. 选择是否迁移元数据。
      • 选择“忽略元数据”,OMS只迁移源端ContentType元数据。
      • 选择“保留元数据”,OMS会迁移支持范围内的元数据。

        当前元数据迁移仅支持英文字符、数字与中划线【-】迁移。暂不支持中文、中文符号迁移(无论是否经过编码)。

    3. 设置迁移指定时间后的对象,使用时间过滤源端待迁移对象。
      • 选择“”,不过滤源端待迁移对象。
      • 选择“”,设置迁移指定时间后,OMS服务仅迁移在指定时间之后修改的源端待迁移对象。

  9. 设置“目的端配置选项”区域参数。

    1. 服务端加密。目的端为并行文件系统(PFS)时,不支持KMS加密。
      • 不勾选“KMS”,迁移后对象均不加密。
      • 勾选“KMS”,所有对象在迁移到OBS桶后都将被加密存储。
        • 使用KMS服务端加密可能会降低迁移速率10%左右。
        • 当前区域支持KMS加密时,此参数才可用。
    2. 保存到指定前缀
      • 选择“”,源端对象迁移到目的端后,对象名保持不变。
      • 选择“”,如图1所示,输入指定前缀,源端对象迁移到目的端后,会在对象名前增加设置的前缀。
        图1 输入指定前缀

        关于“保存到指定前缀”参数的详细设置方法请参考指定前缀参数设置规则

    3. 配置存储策略

      选择迁移到华为云OBS后,对象的存储类型。存储策略说明请参见存储类型介绍

  10. (可选)单击“高级选项”后面“展开”,展开高级选项参数。根据表4,设置高级选项参数。

    表4 高级选项参数说明

    参数

    说明

    记录失败对象

    选择是否记录迁移失败的对象。

    • 选择“否”,则不记录迁移失败的对象。如果迁移失败,只能全量重传。
    • 选择“是”,记录迁移失败的对象。如果迁移失败,支持只对迁移失败对象进行重传。
    说明:
    • 单个迁移任务或迁移任务组任务,都会将迁移失败的对象记录在一个以任务名称命名的失败对象列表文件中,并将该文件上传到目的端桶的“oms/failed_object_lists/”路径下。
    • 失败对象列表文件,最多记录10万个失败对象。

      失败对象超过10万个的场景,建议基于已有失败对象列表,分析处理后重新迁移。

    • 该文件记录了迁移任务失败的摘要信息,包括:失败原因、发生时间(参照当前区域所属时区)、失败对象(经过URL编码)、失败对象(未经过URL编码)、源端SDK返回的错误码。
    • 当迁移失败对象重传成功后,失败对象列表文件仍会保留在目的端。您如果不再需要该文件,请手动删除。

    解冻归档数据

    归档类型的对象存储要实现迁移,必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时,可以勾选此选项。

    • 勾选:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。
      注意:
      • 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里云、金山云、腾讯云。
      • 在数据迁移时,系统会对所有数据发起取回操作,源端云服务商会收取相应的API调用费用和存储费用。
      • 默认取回时间为3天,当迁移对象数超过300 w或容量大小超过3 TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。
      • 在迁移任务开始后,暂停/重启操作会导致所有取回重新执行,造成解冻周期延长、存储费用增加,请谨慎操作。
      • 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目的端桶的存储类型保持一致,与源端对象存储类型无关。
    • 不勾选:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。

    发送通知

    选择是否使用SMN消息通知功能,该功能可以通知您迁移任务的结果。
    • 选择“否”,不接收SMN消息。
    • 选择“是”,接收SMN消息。

      需要执行以下步骤:

      1. 单击“SMN主题”所在行的“添加”,弹出“选择SMN主题”对话框。
      2. 选择接收SMN消息的主题,单击“确定”完成选择。

        如果您所选的SMN主题没有对对象存储迁移服务授权,单击“确定”则会弹出“警告”对话框。如果需要授权,请单击“是”为对象存储迁移服务授权,否则请单击“否”返回“选择SMN主题”页面,选择其他SMN主题。

      3. 设置“触发条件”参数。您可以只勾选其中一个参数或者两个参数都勾选。
      • “迁移成功”表示迁移任务成功时发送SMN消息通知。
      • “迁移失败”表示迁移任务失败时发送SMN消息通知。
      说明:

      如果您无法正常使用SMN消息通知功能,请参见SMN消息通知功能无法正常使用怎么办?

    流量控制

    设置迁移任务在指定时段的最大流量带宽。

    • 选择“否”,不进行流量控制。
    • 选择“是”,进行流量控制。

      需要执行以下步骤:

      1. 单击“新增流量控制”。

        下方新增一条规则记录。

      2. 在“开始时间”、“结束时间”和“限制最大流量”文本框中输入数值。

        限制最大流量的数值范围:1~ 200MB/s 。

        须知:

        例如:设置开始时间08:00、结束时间12:00、限制最大流量20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20 MB/s。该时间段以外,迁移速度不做限制。

        时区时间以控制台所选Region的当地时间为准。

      3. 重复1.~2.,增加新的流量控制规则。

        您也可以单击“操作”栏的,删除本行记录。

        说明:

        最多可以创建5条记录。

        即使在创建任务后,您也可以在任务详情中继续设置流量控制规则。

    同名对象覆盖方式

    • 大小/最后修改时间对比覆盖:对于源端和目的端存在的同名对象,保留最后修改时间较新的对象;如果最后修改时间相同,大小不同,则源端覆盖目的端;如果最后修改时间和大小都相同,则跳过迁移。
    • 不覆盖:对于源端和目的端存在的同名对象,跳过源端对象,保留目的端对象。
    • CRC64对比覆盖:对于源端和目的端存在的同名对象,对比源端和目的端对象元数据中的CRC64值,相同则跳过,不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间对比覆盖策略执行。
      说明:
      • 目前仅支持华为云、阿里云、腾讯云。
      • 需满足源端、目的端对象的加密状态一致。
    • 全覆盖:对于源端和目的端存在的同名对象,源端对象直接覆盖目的端对象。

    一致性校验

    • 大小/最后修改时间校验:默认配置,通过对比源端和目的端对象大小+最后修改时间,判断迁移后数据是否完整。
    • CRC64校验:通过对比源端和目的端对象元数据中CRC64值,判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间校验策略。

    任务优先级

    任务较多时,可以通过设置任务优先级制定迁移顺序。

    描述

    输入本次迁移任务的简单描述信息。

    最多可输入255个字符。

  11. 单击“下一步”,进入确认信息页面。
  12. 确认迁移信息的设置,并启动迁移。

    1. 浏览各项迁移参数的设置是否正确。

      如果有误,可以单击“上一步”返回之前的页面进行修改。

    2. 单击“开始迁移”,提示创建迁移任务成功。

      查看迁移任务组列表已新增该任务组。

分享:

    相关文档

    相关产品