创建迁移任务组

适用场景

适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景，迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。

前提条件

• 已注册华为账号并开通华为云，完成实名认证。

• 已获取源端和目的端账号的AK/SK。
• 青云账号获取qingstor相关访问权限。
• 华为云目的端桶需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容，上传对象，列举已上传段，取回归档存储对象。获取方式参见目的端桶权限获取。
• 已在OBS服务中创建桶。
• 您过去24小时内已创建的迁移任务未满1000000个。
• 您名下处于“等待中”状态的迁移任务未满1000000个。

操作步骤

1. 登录华为云控制台。
2. 单击控制台左上角的，在下拉框中选择迁移目的端桶所在的Region，如图1所示。
   图1 选择目的端桶Region
   

3. 单击控制台左侧“服务列表”，选择“迁移 > 对象存储迁移服务 OMS”，进入“对象存储迁移服务”页面。
   您也可以在搜索框中输入“OMS”，快速查找“对象存储迁移服务 OMS”，如图2所示。

   图2 选择对象存储迁移服务
   

4. 在左侧导航树，选择“迁移任务组”，切换到“迁移任务组”页面。
5. 在“迁移任务组”页面，单击页面右上角的“创建迁移任务组”，如图3所示。
   图3 创建迁移任务组
   

6. 仔细阅读弹出的服务声明，勾选“同意以上服务声明”，单击“确定”，进入“创建迁移任务组”的“选择源端/目的端”页面，如图4所示。
   图4 选择源端/目的端页面
   

7. 设置“选择源端”区域的参数，参见表1。

   表1 设置源端参数

   参数	设置
   源端数据源	选择青云。
   源端访问密钥（Access Key）	填写源端青云的访问密钥（AK）。
   源端私有访问密钥（Secret Access Key）	填写源端青云的私有访问密钥（SK）。
   是否指定桶名	关闭“是否指定桶名”（默认设置）。 单击“桶”下拉框，选择待迁移数据所在的桶。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确，且您的账号具有列举桶名的权限，则会在“桶”中列举您名下的所有桶。 说明： 当源端AK/SK没有列举桶权限时，需要开启“是否指定桶名”。
   	开启“是否指定桶名”。 在“选择区域”下拉框中选择源端桶所在区域。 在“桶名或路径”文本框中输入源端桶名或带桶名的路径。 单击“连接源端桶”。

8. 设置“选择目的端”区域的参数，参见表2。

   表2 设置目的端参数

   参数	设置
   目的端访问密钥（Access Key	填写目的端华为云的访问密钥（AK）。
   目的端私有访问密钥（Secret Access Key）	填写目的端华为云的私有访问密钥（SK）。
   桶名	选择存放迁移数据的华为云OBS桶。

9. 单击“下一步”，进入“设置任务组参数”页面，如图5所示。
   图5 设置任务组参数页面
   

10. 选择迁移方式。
    • 选择“输入对象前缀”迁移方式。
      1. 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀，如图6所示。若不添加该参数，则默认迁移全桶的数据。
         图6 输入对象数据名称或名称前缀
         
         

         • 添加对象前缀时，如果对象文件在桶的根目录下，则直接添加前缀；如果对象文件存在目录路径，则需要在对象前缀前添加对象文件所在的目录路径。格式为：桶名/文件夹/对象前缀。
         • 若不添加该参数，则默认迁移全桶的数据。
         • 待迁移的对象会被记录在txt类型的列表文件中（每个迁移任务对应一个列表文件），并存放在目的端桶的“oms/taskgroup/”路径下。当任务组迁移完成后，这些列表文件会保留下来，您可以手动删除它们。
      2. 单击“添加”按钮，系统会自动匹配出数据。您可以单击，从匹配到的迁移数据列表中删除不需要迁移的数据。
    • 选择“指定对象列表”迁移方式。
      1. 在“列表目录所在桶（华为云）”下拉列表中，选择存放列表文件的桶。
         

         请确保列表文件所在桶与目的端桶处于同一区域，否则后续将无法选择对象列表目录。

      2. 在“选择对象列表目录”参数后面，单击“选择”按钮，弹出“选择对象列表目录”窗口，选择包含所有对象列表的文件夹，单击“确定”，如图7所示。
         图7 选择对象列表目录
         
         

         • 对象列表文件大小不能超过1024 MB。
         • 对象列表目录下的文件个数不能超过2000个。
         • 对象列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。
         • 对象列表文件必须是UTF-8无BOM格式编码格式。
         • 在对象列表文件中，每一行只能包含一个对象名称。如果对象名称包含特殊字符或空格，为了确保迁移过程的正确性，需要使用URL编码进行转换。

           例如：待迁移对象为“6-objs.txt”和“oms/考试计划.docx”，则对象列表文件中应写入如下内容：

           6-objs.txt
           oms%2F%E8%80%83%E8%AF%95%E8%AE%A1%E5%88%92.docx

         • 对象列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。
         • 对象列表文件中每行长度不要超过65535，否则会导致迁移失败。
         • 对象列表文件的元数据中不能设置“ContentEncoding”，否则会导致迁移失败。
         • 对象列表文件如果是归档数据，迁移前需要先手动恢复，对象存储迁移服务才能访问和获取。

11. 设置“目的端配置选项”区域参数。
    1. 保存到指定前缀。
       • 选择“关闭”，源端对象迁移到目的端后，对象名保持不变。
       • 选择“开启”，如图8所示，输入对象前缀，源端对象迁移到目的端后，会在对象名前增加设置的前缀。
         图8 输入对象前缀
         
         

         关于“保存到指定前缀”参数的详细设置方法请参考指定前缀参数设置规则。

    2. 配置存储策略

       选择迁移到华为云OBS后，对象的存储类型。存储策略说明请参见存储类型介绍。

12. 单击“高级选项”前的，展开高级选项，如图9所示。根据表3，设置“高级选项”参数。
    图9 高级选项
    

    表3 高级选项参数说明

    参数	说明
    元数据迁移方式	选择是否迁移元数据。 选择“忽略元数据”，OMS只迁移源端Content-Type、Content-Encoding元数据。 选择“保留元数据”，OMS会迁移支持范围内的元数据。 须知： 仅支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外，其他所有字符均不支持。 如果选择“忽略元数据迁移”，为保证迁移任务正常运行，仍将迁移Content-Type、Content-Encoding元数据。
    迁移指定时间后的对象	选择是否迁移在指定时间后的对象。 选择“关闭”，不过滤源端待迁移对象。 选择“开启”，设置迁移指定时间后，OMS服务仅迁移在指定时间之后修改的源端待迁移对象。
    服务端加密	选择是否服务端加密。 选择“关闭”，迁移后对象均不加密。 选择“开启”，所有对象在迁移到OBS桶后都将被加密存储 说明： 默认使用SSE-KMS加密，不支持其它加密方式或者自定义加密。 目的端为并行文件系统(PFS)时，不支持KMS加密。 使用KMS服务端加密可能会降低迁移速率10%左右 当前区域支持KMS加密时，此参数才可用。
    记录失败对象	选择是否记录迁移失败的对象。 选择“关闭”，则不记录迁移失败的对象。如果迁移失败，只能全量重传。 选择“开启”，记录迁移失败的对象。如果迁移失败，支持只对迁移失败对象进行重传。 说明： 单个迁移任务或迁移任务组任务，都会将迁移失败的对象记录在一个以任务名称命名的失败对象列表文件中，并将该文件上传到目的端桶的“oms/failed_object_lists/”路径下。 失败对象列表文件，最多记录10万个失败对象。 失败对象超过10万个的场景，建议基于已有失败对象列表，分析处理后重新迁移。 该文件记录了迁移任务失败的摘要信息，包括：失败原因、发生时间（参照当前区域所属时区）、失败对象（经过URL编码）、失败对象（未经过URL编码）、源端SDK返回的错误码。 当迁移失败对象重传成功后，失败对象列表文件仍会保留在目的端。您如果不再需要该文件，请手动删除。
    解冻归档数据	归档类型的对象存储要实现迁移，必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时，可以勾选此选项。 选择“开启”：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。 须知： 目前支持以下云服务提供商的归档数据的自动解冻：华为云、阿里云、金山云、腾讯云。 解冻预计耗时1分钟及以上，对象越大解冻耗时越长，超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异，具体请参考各云服务提供商的相关文档。 解冻归档数据的过程中会产生两种费用，一是API调用费用，二是归档数据取回费用，这些均由源端云服务提供商向您收取。 归档数据的解冻状态会持续一段时间，在此时间内支持对象的下载/访问，超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。 默认取回时间为3天，当迁移对象数超过300 w或容量大小超过3 TB时，为避免迁移时间过长，数据再次归档后导致迁移失败，请选择迁移任务组方式迁移。 在迁移任务开始后，暂停/重启操作会导致所有取回重新执行，造成解冻周期延长、存储费用增加，请谨慎操作。 对象存储数据从源端云服务提供商迁移到华为云后，存储类型和目的端桶的存储类型保持一致，与源端对象存储类型无关。 选择“关闭”：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。
    发送通知	选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。 选择“关闭”，不接收SMN消息。 选择“开启”，接收SMN消息。 需要执行以下步骤： 单击“SMN主题”所在行的“添加”，弹出“选择SMN主题”对话框。 选择接收SMN消息的主题，单击“确定”完成选择。如果您所选的SMN主题没有对对象存储迁移服务授权，单击“确定”则会弹出“警告”对话框。如果需要授权，请单击“是”为对象存储迁移服务授权，否则请单击“否”返回“选择SMN主题”页面，选择其他SMN主题。 单击“SMN模板”所在行的“添加”，弹出“选择SMN模板”对话框。如果设置此值，则表示用模板方式发送SMN信息。模板名称下必须有default协议的模板。 选择接收SMN信息的模板，单击“确定”完成选择。 设置“触发条件”参数。您可以只勾选其中一个参数或者两个参数都勾选。 “迁移成功”表示迁移任务成功时发送SMN消息通知。 “迁移失败”表示迁移任务失败时发送SMN消息通知。 说明： 如果您无法正常使用SMN消息通知功能，请参见SMN消息通知功能无法正常使用怎么办？。
    流量控制	设置迁移任务在指定时段的最大流量带宽。 选择“关闭”，不进行流量控制。 选择“开启”，进行流量控制。 需要执行以下步骤： 在“开始时间”、“结束时间”和“限制最大流量”文本框中输入数值。 限制最大流量的数值范围：1~ 200MB/s 。 须知： 例如：设置开始时间08：00、结束时间12：00、限制最大流量20 MB/s，当迁移任务运行到（08:00~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。 时区时间以控制台所选Region的当地时间为准。 单击“新增流量控制”。下方新增一条规则记录。 重复1.~2.，增加新的流量控制规则。 您也可以单击“操作”栏的‘删除’，删除本行记录。 说明： 最多可以创建5条记录。 即使在创建任务后，您也可以在任务详情中继续设置流量控制规则。
    同名对象覆盖方式	大小/最后修改时间对比覆盖：对于源端和目的端存在的同名对象，保留最后修改时间较新的对象；如果最后修改时间相同，大小不同，则源端覆盖目的端；如果最后修改时间和大小都相同，则跳过迁移。 不覆盖：对于源端和目的端存在的同名对象，跳过源端对象，保留目的端对象。 CRC64对比覆盖：对于源端和目的端存在的同名对象，对比源端和目的端对象元数据中的CRC64值，相同则跳过，不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间对比覆盖策略执行。 说明： 目前仅支持华为云、阿里云、腾讯云。 需满足源端、目的端对象的加密状态一致。 全覆盖：对于源端和目的端存在的同名对象，源端对象直接覆盖目的端对象。
    一致性校验	大小/最后修改时间校验：默认配置，通过对比源端和目的端对象大小+最后修改时间，判断迁移后数据是否完整。 CRC64校验：通过对比源端和目的端对象元数据中CRC64值，判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间校验策略。
    描述	输入本次迁移任务的简单描述信息。 最多可输入255个字符。

13. 单击“下一步”，进入“确认信息”页面。
14. 确认源端信息、目的端信息、任务参数、高级选项等参数无误后，单击“下一步”。提示任务提交成功。查看迁移任务组列表已新增该任务组。

相关操作

您可以对创建的迁移任务组进行如下操作。