文档首页> 迁移中心 MGC> 用户指南> 迁移工作流> 创建对象存储批量迁移工作流
更新时间:2024-05-15 GMT+08:00
分享

创建对象存储批量迁移工作流

本节介绍如何使用对象存储批量迁移模板,批量创建对象存储数据迁移任务,实现对象存储数据的高效迁移。

单个对象大小不能超过5 TB,否则可能会导致迁移失败。

前提条件

已完成迁移方案配置

操作步骤

  1. 登录迁移中心管理控制台。
  2. 在左侧导航栏选择“实施>迁移工作流”,进入迁移工作流页面。在页面左上角的当前项目下拉列表中选择迁移项目
  3. 单击页面右上角的“创建迁移工作流”按钮,进入选择模板页面。
  4. 选择对象存储批量迁移模板,单击“查看步骤详情”,可以查看该模板所包含的迁移阶段和步骤,以及每个阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成。单击“开始配置”按钮,进行工作流配置。
  5. 基础信息区域,输入自定义的工作流名称描述
  6. 迁移方案区域,选择创建的对象存储迁移方案。选择方案后,可以看到该方案的配置概览。单击“查看详情”,可以查看该方案的更多信息。

  7. 迁移集群区域,选择迁移使用的集群。默认使用迁移方案中配置的集群,您也可以在下拉列表中重新选择集群,选择后仅对当前工作流生效,不会修改迁移方案中配置的集群。
  8. 根据表1,进行迁移配置。

    表1 迁移配置参数说明

    参数

    子参数

    说明

    并发子任务数

    -

    用户自定义。配置的数目不能超过可用迁移执行节点数x20。例如:可用的执行节点数为2,则最大子任务数配置数目需要≤40。

    同名覆盖方式

    不覆盖

    对于源端和目的端存在的同名文件,跳过源端文件,保留目的端文件。

    直接覆盖

    对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。

    条件覆盖

    对于源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过。

    迁移元数据

    -

    选择是否迁移元数据。

    • 勾选,则迁移源端对象元数据。
    • 不勾选,仅迁移ContentType元数据。

    清理集群

    -

    选择工作流是否创建清理集群步骤。

    • 勾选,迁移工作流将自动创建清理集群步骤,您还可以继续配置是否删除NAT网关、安全组、VPCEP服务等。
    • 不勾选,迁移工作流不创建清理集群步骤。

  9. (可选)根据表2,配置高级选项。

    表2 高级选项参数说明

    参数

    说明

    KMS加密

    • 不勾选,迁移后对象状态与源端保持一致。
    • 勾选,所有对象在迁移到OBS桶后都将被加密存储。
    说明:
    • 使用KMS服务端加密可能会降低迁移速率10%左右。
    • 目的端桶所在区域支持KMS加密时,此参数才可用。

    解冻归档数据

    归档类型的对象存储要实现迁移,必须预先解冻。当源端云服务商支持自动解冻归档类型数据时,可以勾选此选项。目前支持自动解冻归档类型数据的云厂商有:华为云、阿里云、金山云、腾讯云。

    • 不勾选:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。
    • 勾选:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。
    说明:

    在数据迁移时,系统会对所有数据发起取回操作,源端云服务商会收取相应的API调用费用和存储费用。

    过滤配置

    通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明

    CDN迁移支持

    当默认域名不能满足您的迁移需求,比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。

    源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。

    SMN消息发送配置

    选择是否使用SMN消息通知功能,该功能可以通知您迁移任务的结果。

    • 不勾选,不接收SMN消息。
    • 勾选,接收SMN消息。选择SMN主题,会向该主题的订阅者发送消息;选择消息发送语言;选择发送消息的触发条件,支持同时勾选。

    流量控制

    设置迁移任务在指定时段的最大流量带宽。

    • 不勾选,不进行流量控制。
    • 勾选,进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。
      例如:设置开始时间08:00、结束时间12:00、限速为20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20 MB/s。该时间段以外,迁移速度不做限制。
      说明:
      • 限速的数值范围:0~1048576 MB/s 。
      • 最多可以创建5条记录。
      • 时区时间以目的端Region的当地时间为准。

  10. 工作流配置完成后,单击“下一步:确认并创建”按钮,进入确认并创建页面。
  11. 确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,此时工作流已创建完成。

    • 如果您希望立即开始迁移,则单击“确认”按钮,立即运行工作流。
    • 如果您需要在工作流中添加阶段/步骤,则单击“取消”,此时迁移工作流状态为“等待中”,并未开始迁移。确定工作流步骤后,单击“运行”按钮,开始迁移。

  12. 在工作流详情页面,可以查看该工作流的配置信息资源迁移进度。还可以进行如下操作:

    • 将鼠标放置资源迁移进度条,在弹窗中可以查看该资源更多迁移信息。
    • 当迁移步骤(进度条)到达需要手动确认的步骤时,您需要将鼠标放置在进度条上,并在弹出的窗口中单击步骤状态后的“确认”。只有完成这一操作,系统才会继续进行后续的迁移步骤。
    • 基础信息区域,单击集群名称后的“管理”,右侧弹出集群详细信息页面。在这个页面上,您可以进行如下操作:
      • 设置流量控制规则:您可以添加、编辑或删除流量控制规则,以确保集群内的流量按照您的需求进行管理。
      • 节点管理:您可以根据实际需求,添加/删除迁移节点和列举节点,也可以对现有节点进行插件升级。

分享:

    相关文档

    相关产品