创建迁移任务

适用场景

适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景，通过创建对象存储迁移任务，可将对象数据进行快速迁移。

如果单个桶数据量大于3 TB或对象个数大于500万，建议您创建迁移任务组来进行迁移。

• OMS默认会将等待超过30天未调度的任务自动设置为失败，并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中，请控制创建任务的频率。
• 如果单个对象大小超过500G，建议您通过提交工单的方式，开通并发分片白名单配置，提升迁移速率。
• 在迁移过程中，系统将自动在目的端桶创建一个名为“OMS”的临时文件夹。严禁手动操作此文件夹，包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。

前提条件

• 已注册华为账号并开通华为云，完成实名认证。
• 已获取源端和目的端账号的AK/SK。
  • 源端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容。获取方式参见源端桶权限获取。
  • 目的端桶需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容，上传对象，列举已上传段，取回归档存储对象。获取方式参见目的端桶权限获取。
• 已在OBS服务中创建桶。
• 您过去24小时内已创建的迁移任务未满1000000个。
• 您名下处于“等待中”状态的迁移任务未满1000000个。

操作步骤

1. 登录华为云控制台。
2. 单击控制台左上角的，在下拉框中选择迁移目的端桶所在的Region，如图1所示。
   图1 选择目的端桶Region
   

3. 单击控制台左侧“服务列表”，选择“迁移 > 对象存储迁移服务 OMS”，进入“对象存储迁移服务”页面。
   您也可以在搜索框中输入“OMS”，快速查找“对象存储迁移服务 OMS”，如图2所示。

   图2 选择对象存储迁移服务
   

4. 在“迁移任务”页面，单击页面右上角的“创建迁移任务”，如图3所示。
   图3 创建迁移任务
   

5. 仔细阅读弹出的服务声明，勾选“同意以上服务声明”，单击“确定”，进入“创建迁移任务”的“选择源端/目的端”页面，如图4所示。
   图4 选择源端/目的端页面
   

6. 设置“选择源端”区域的参数，参见表1。

   表1 设置源端参数

   参数	设置
   数据源	选择华为云。
   访问密钥	填写源端华为云的访问密钥（AK）。
   私有访问密钥	填写源端华为云的私有访问密钥（SK）。
   是否指定桶名	关闭“是否指定桶名”（默认设置）。 单击“桶名”后的“列举源端桶”，在“桶名”中列举您名下的所有桶。 在“桶名”的下拉列表中选择需要迁移的桶。 说明： 当源端AK/SK没有列举桶权限时，需要开启“是否指定桶名”。
   	开启“是否指定桶名”。 在“选择区域”下拉框中选择源端桶所在区域。 在“桶名或路径”文本框中输入源端桶名或带桶名的路径。 单击“连接源端桶”。

7. 设置“选择目的端”区域的参数，参见表2。

   表2 设置目的端参数

   参数	设置
   访问密钥	填写目的端华为云的访问密钥（AK）。
   私有访问密钥	填写目的端华为云的私有访问密钥（SK）。 填写访问密钥和私有访问密钥后，请单击“列举目的端桶”。
   桶名	选择存放迁移数据的华为云OBS桶。

8. 单击“下一步”，进入“设置任务参数”页面，如图5所示。
   图5 设置任务参数页面
   

9. 根据下表迁移方式和适用场景说明，选择迁移方式。

   迁移方式	适用场景	说明
   选择文件/文件夹	已知迁移对象文件名或者所在文件目录。	选择文件夹：迁移勾选文件夹下的所有对象。 选择文件：迁移勾选的对象文件。 支持同时勾选文件夹和对象文件进行迁移，若不勾选，则默认迁移桶内的所有对象。
   指定对象列表	已知所有需要迁移对象的文件名，并将所有文件名放置在一个.txt文件中，上传到华为云OBS桶。	列表文件所在桶（华为云）：必须与目的端桶处于同一区域，否则将无法选择对象列表文件。 选择对象列表文件：选择包含所有对象文件名的.txt文件 。 说明： 对象列表文件大小不能超过1024MB。 对象列表文件中的首个对象必须存在，否则会预校验不通过。 对象列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称，并且对象名称使用URL Encode编码 对象列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。 对象列表文件中每行长度不要超过65535，否则会导致迁移失败。 对象列表文件的元数据中不能设置“ContentEncoding”，否则会导致迁移失败。 对象列表文件如果是归档数据，迁移前需要先手动恢复，对象存储迁移服务才能访问和获取。
   输入对象前缀	已知迁移对象的命名格式，且需要迁移对象用相同前缀命名。	前缀添加成功后，会迁移桶中所有以该前缀开头的对象。 若不添加该参数，则默认迁移桶内的所有对象。

   • “选择文件/文件夹”迁移方式。
     1. 单击桶名下方的“选择”按钮，弹出“选择文件/文件夹”窗口。
     2. 勾选待迁移的文件夹/文件。支持同时勾选文件夹和对象文件进行迁移，若不勾选，则默认迁移桶内的所有对象。
     3. 单击“确定”，所选文件/文件夹显示在下方，如图6所示。
        图6 选择完成
        
   • “指定对象列表”迁移方式。
     1. 在“列表文件所在桶（华为云）”下拉列表中，选择存放列表文件的桶。
        

        请确保列表文件所在桶与目的端桶处于同一区域，否则后续将无法选择对象列表文件。

     2. 在“选择对象列表文件”参数后面，单击“选择”按钮，弹出“选择对象列表文件”窗口，选择包含所有对象文件名的.txt文件，单击“确定”，如图7所示。
        图7 选择对象列表文件
        
   • “输入对象前缀”迁移方式。
     1. 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀，如图8所示。若不添加该参数，则默认迁移全桶的数据。
        图8 输入对象数据名称或名称前缀
        
     2. 单击“添加”按钮，系统会自动匹配出数据。您可以单击，从匹配到的迁移数据列表中删除不需要迁移的数据。

10. 选择元数据迁移方式。
    • 选择“忽略元数据”，OMS只迁移源端ContentType元数据。
    • 选择“保留元数据”，OMS会迁移支持范围内的元数据。
      

      仅支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外，其他所有字符均不支持。

11. 设置迁移指定时间后的对象，使用时间过滤源端待迁移对象。
    • 选择“否”，不过滤源端待迁移对象。
    • 选择“是”，设置迁移指定时间后，OMS服务仅迁移在指定时间之后修改的源端待迁移对象。

12. 设置“目的端配置选项”区域参数。
    1. 服务端加密。目的端为并行文件系统（PFS）时，不支持KMS加密。
       • 不勾选“KMS”，迁移后对象均不加密。
       • 勾选“KMS”，所有对象在迁移到OBS桶后都将被加密存储。
         

         • 使用KMS服务端加密可能会降低迁移速率10%左右。
         • 当前区域支持KMS加密时，此参数才可用。
    2. 保存到指定前缀。
       • 选择“否”，源端对象迁移到目的端后，对象名保持不变。
       • 选择“是”，如图9所示，输入指定前缀，源端对象迁移到目的端后，会在对象名前增加设置的前缀。
         图9 输入指定前缀
         
         

         关于“保存到指定前缀”参数的详细设置方法请参考指定前缀参数设置规则。

    3. 配置存储策略

       选择迁移到华为云OBS后，对象的存储类型。存储策略说明请参见存储类型介绍。

13. 单击“高级选项”前的，展开高级选项，如图10所示。根据表3参数说明，设置“高级选项”参数。
    图10 高级选项
    

    表3 参数说明

    参数	说明
    记录失败对象	默认“是”。 选择“否”，不记录迁移失败的对象。如果迁移失败，只能全量重传。 选择“是”，记录迁移失败的对象。如果迁移失败，支持只对迁移失败对象进行重传。 说明： 单个迁移任务或迁移任务组任务，都会将迁移失败的对象记录在一个以任务名称命名的失败对象列表文件中，并将该文件上传到目的端桶的“oms/failed_object_lists/”路径下。 失败对象列表文件，最多记录10万个失败对象。 失败对象超过10万个的场景，建议基于已有失败对象列表，分析处理后重新迁移。
    解冻归档数据	默认“否”。不建议开启，迁移数据中有归档数据时，优先选择使用OBS的解冻工具将数据解冻后再进行迁移。具体操作参见恢复归档存储对象。 选择“否”，迁移数据中有归档数据时，则直接判定该对象迁移失败并跳过，继续迁移其余数据。 选择“是”，迁移数据中有归档数据时，会自动解冻归档类型数据并迁移。
    发送通知	默认“否”，选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。 选择“否”，不接收SMN消息。 选择“是”，接收SMN消息。
    流量控制	默认“否”，设置迁移任务在指定时段的最大流量带宽。 选择“否”，不进行流量控制。 选择“是”，进行流量控制。
    同名对象覆盖方式	大小/最后修改时间对比覆盖：对于源端和目的端存在的同名对象，保留最后修改时间较新的对象；如果最后修改时间相同，大小不同，则源端覆盖目的端；如果最后修改时间和大小都相同，则跳过迁移。 不覆盖：对于源端和目的端存在的同名对象，跳过源端对象，保留目的端对象。 CRC64对比覆盖：对于源端和目的端存在的同名对象，对比源端和目的端对象元数据中的CRC64值，相同则跳过，不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间对比覆盖策略执行。 说明： 目前仅支持华为云、阿里云、腾讯云。 需满足源端、目的端对象的加密状态一致。 全覆盖：对于源端和目的端存在的同名对象，源端对象直接覆盖目的端对象。
    一致性校验	大小/最后修改时间校验：默认配置，通过对比源端和目的端对象大小+最后修改时间，判断迁移后数据是否完整。 CRC64校验：通过对比源端和目的端对象元数据中CRC64值，判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间校验策略。
    任务优先级	任务较多时，可以通过设置任务优先级制定迁移顺序。

14. 单击“下一步”，进入“确认信息”页面。
15. 确认源端信息、目的端信息、任务参数、高级选项等参数无误后，单击“开始迁移”。提示创建迁移任务成功。查看迁移任务列表已新增该任务。
    

    任务创建后，会生成一个任务ID供您快速识别。它显示在列表中任务的左上角，由源端桶名+目的端桶名+时间序列标识拼接而成。

相关操作

您可以对创建的迁移任务进行如下操作。