创建单个迁移任务

操作场景

使用对象存储迁移服务创建对象存储任务，对您的对象数据实施迁移。

本节以选择文件/文件夹迁移方式为例进行介绍。

• OMS默认会将等待超过30天未调度的任务自动设置为失败，并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中，请控制创建任务的频率。
• 如果单个对象大小超过500G，建议您通过提交工单的方式，开通并发分片白名单配置，提升迁移速率。

背景信息

对象存储迁移服务支持以下的源端云服务商或数据源类型：

• 华为云
• 亚马逊云（中国）
• 阿里云
• 微软云
• 腾讯云
• 谷歌云
• 七牛云
• 青云
• 百度云
• 金山云
• 优刻得
• HTTP/HTTPS数据源

前提条件

• 已注册华为账号并开通华为云，完成实名认证。
• 已获取源端和目的端账号的AK/SK。
  • 源端桶对应账户需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容。获取方式参见源端桶权限获取。
  • 目的端桶需要的权限包括：列举桶，获取桶位置，列举对象，获取对象元数据，获取对象内容，上传对象，列举已上传段，取回归档存储对象。获取方式参见目的端桶权限获取。
• 已在OBS服务中创建桶。
• 您过去24小时内已创建的迁移任务未满1000000个。
• 您名下处于“等待中”状态的迁移任务未满1000000个。

操作步骤

1. 登录OMS管理控制台。
2. 单击管理控制台左上角的，在下拉框中选择区域。
3. 单击页面右上角“创建迁移任务”。
   仔细阅读弹出的服务声明，勾选“同意以上服务声明”，单击“确定”，进入“创建迁移任务”页面，如图1所示。

   图1 创建任务
   

4. 选择源端/目的端参数。
   1. 选择源端参数，参数说明参见表1。

      表1 源端参数说明

      参数	说明
      数据源	待迁移的源端云服务提供商。
      访问密钥	源端云服务提供商的访问密钥（AK）。最大长度是100个字符。
      私有访问密钥	源端云服务提供商的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。
      是否指定桶名	当您不具备列举桶权限，但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数，通过指定源端桶的路径来进行迁移。 设置说明参见表2。

      表2 “是否指定桶名”的设置说明

      如果...	那么...
      开启“是否指定桶名”	在“选择区域”下拉框中选择源端桶所在区域。 在“桶名或路径”文本框中输入源端桶名或带桶名的路径。例如，桶名为obs-test。 使用填写桶名的方式，则直接填写“obs-test”。 使用填写路径的方式，填写格式为桶名+桶内目录，如“obs-test/file”。 单击“连接源端桶”。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确，会提示连接桶成功。
      关闭“是否指定桶名”（默认设置）	单击“列举源端桶”。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确，且您的账号具有列举桶名的权限，则会在“桶名”中列举您名下的所有桶。 在“桶名”中选择待迁移数据所在的桶。

   2. 选择目的端参数，参数说明参见表3。

      表3 目的端参数说明

      参数	说明
      访问密钥	华为云的访问密钥（AK）。最大长度是100个字符。
      私有访问密钥	华为云的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。 输入访问密钥和私有访问密钥后，请单击“列举目的端桶”。
      桶名	存放迁移数据的华为云OBS桶。

5. 单击“下一步”，进入“设置任务参数”页签。
6. 设置“源端配置选项”区域参数。
   1. 选择迁移方式为“选择文件/文件夹”，如图2所示。
      图2 选择迁移方式
      
   2. 选择是否迁移元数据。
      

      • 元数据迁移仅支持英文字符、数字与中划线【-】迁移。暂不支持中文、中文符号迁移（无论是否经过编码）。
      • 如果选择“忽略元数据迁移”，为保证迁移任务正常运行，仍将迁移ContentType元数据。
   3. 设置迁移指定时间后的对象，使用时间过滤源端待迁移对象。
      • 选择“否”，不过滤源端待迁移对象。
      • 选择“是”，设置迁移指定时间后，OMS服务仅迁移在指定时间之后修改的源端待迁移对象。

7. 设置“目的端配置选项”区域参数。
   1. 服务端加密。目的端为并行文件系统（PFS）时，不支持KMS加密。
      • 不勾选“KMS”，迁移后对象均不加密。
      • 勾选“KMS”，所有对象在迁移到OBS桶后都将被加密存储。
        

        • 使用KMS服务端加密可能会降低迁移速率10%左右。
        • 当前区域支持KMS加密时，此参数才可用。
   2. 保存到指定前缀。
      • 选择“否”，源端对象迁移到目的端后，对象名保持不变。
      • 选择“是”，如图3所示，输入指定前缀，源端对象迁移到目的端后，会在对象名前增加设置的前缀。
        图3 输入指定前缀
        
        

        关于“保存到指定前缀”参数的详细设置方法请参考指定前缀参数设置规则。

   3. 配置存储策略

      选择迁移到华为云OBS后，对象的存储类型。存储策略说明请参见存储类型介绍。

8. （可选）单击“高级选项”后面“展开”，展开高级选项参数。根据表4，设置高级选项参数。

   表4 高级选项参数说明

   参数	说明
   记录失败对象	选择是否记录迁移失败的对象。 选择“否”，则不记录迁移失败的对象。如果迁移失败，只能全量重传。 选择“是”，记录迁移失败的对象。如果迁移失败，支持只对迁移失败对象进行重传。 说明： 单个迁移任务或迁移任务组任务，都会将迁移失败的对象记录在一个以任务名称命名的失败对象列表文件中，并将该文件上传到目的端桶的“oms/failed_object_lists/”路径下。 失败对象列表文件，最多记录10万个失败对象。 失败对象超过10万个的场景，建议基于已有失败对象列表，分析处理后重新迁移。 该文件记录了迁移任务失败的摘要信息，包括：失败原因、发生时间（参照当前区域所属时区）、失败对象（经过URL编码）、失败对象（未经过URL编码）、源端SDK返回的错误码。 当迁移失败对象重传成功后，失败对象列表文件仍会保留在目的端。您如果不再需要该文件，请手动删除。
   解冻归档数据	归档类型的对象存储要实现迁移，必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时，可以勾选此选项。 勾选：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。 注意： 目前支持以下云服务提供商的归档数据的自动解冻：华为云、阿里云、金山云、腾讯云。 在数据迁移时，系统会对所有数据发起取回操作，源端云服务商会收取相应的API调用费用和存储费用。 默认取回时间为3天，当迁移对象数超过300 w或容量大小超过3 TB时，为避免迁移时间过长，数据再次归档后导致迁移失败，请选择迁移任务组方式迁移。 在迁移任务开始后，暂停/重启操作会导致所有取回重新执行，造成解冻周期延长、存储费用增加，请谨慎操作。 对象存储数据从源端云服务提供商迁移到华为云后，存储类型和目的端桶的存储类型保持一致，与源端对象存储类型无关。 不勾选：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。
   发送通知	选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。 选择“否”，不接收SMN消息。 选择“是”，接收SMN消息。 需要执行以下步骤： 单击“SMN主题”所在行的“添加”，弹出“选择SMN主题”对话框。 选择接收SMN消息的主题，单击“确定”完成选择。 如果您所选的SMN主题没有对对象存储迁移服务授权，单击“确定”则会弹出“警告”对话框。如果需要授权，请单击“是”为对象存储迁移服务授权，否则请单击“否”返回“选择SMN主题”页面，选择其他SMN主题。 设置“触发条件”参数。您可以只勾选其中一个参数或者两个参数都勾选。 “迁移成功”表示迁移任务成功时发送SMN消息通知。 “迁移失败”表示迁移任务失败时发送SMN消息通知。 说明： 如果您无法正常使用SMN消息通知功能，请参见SMN消息通知功能无法正常使用怎么办？。
   流量控制	设置迁移任务在指定时段的最大流量带宽。 选择“否”，不进行流量控制。 选择“是”，进行流量控制。 需要执行以下步骤： 单击“新增流量控制”。 下方新增一条规则记录。 在“开始时间”、“结束时间”和“限制最大流量”文本框中输入数值。 限制最大流量的数值范围：1~ 200MB/s 。 须知： 例如：设置开始时间08：00、结束时间12：00、限制最大流量20 MB/s，当迁移任务运行到（08:00~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。 时区时间以控制台所选Region的当地时间为准。 重复1.~2.，增加新的流量控制规则。 您也可以单击“操作”栏的，删除本行记录。 说明： 最多可以创建5条记录。 即使在创建任务后，您也可以在任务详情中继续设置流量控制规则。
   同名对象覆盖方式	大小/最后修改时间对比覆盖：对于源端和目的端存在的同名对象，保留最后修改时间较新的对象；如果最后修改时间相同，大小不同，则源端覆盖目的端；如果最后修改时间和大小都相同，则跳过迁移。 不覆盖：对于源端和目的端存在的同名对象，跳过源端对象，保留目的端对象。 CRC64对比覆盖：对于源端和目的端存在的同名对象，对比源端和目的端对象元数据中的CRC64值，相同则跳过，不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间对比覆盖策略执行。 说明： 目前仅支持华为云、阿里云、腾讯云。 需满足源端、目的端对象的加密状态一致。 全覆盖：对于源端和目的端存在的同名对象，源端对象直接覆盖目的端对象。
   一致性校验	大小/最后修改时间校验：默认配置，通过对比源端和目的端对象大小+最后修改时间，判断迁移后数据是否完整。 CRC64校验：通过对比源端和目的端对象元数据中CRC64值，判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间校验策略。
   任务优先级	任务较多时，可以通过设置任务优先级制定迁移顺序。
   描述	输入本次迁移任务的简单描述信息。 最多可输入255个字符。

9. 单击“下一步”，进入确认信息页面。
10. 确认迁移信息的设置，并启动迁移。
    1. 检查各项迁移参数的设置是否正确。

       如果有误，可以单击“上一步”返回之前的页面进行修改。

    2. 单击“开始迁移”，提示创建迁移任务成功。

       查看迁移任务列表已新增该任务。

       关于迁移任务状态，参见查看迁移任务。

       

       任务创建后，会生成一个任务ID供您快速识别。它显示在列表中任务的左上角，由源端桶名+目的端桶名+时间序列标识拼接而成。