归档存储（冷存储）数据迁移

背景概述

冷存储是一种针对不频繁访问数据的长期备份解决方案，例如，平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。

在迁移冷存储数据时，一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻结"状态，因此在需要访问时必须先进行数据恢复（即解冻）。解冻方式分为“标准解冻”和“加急解冻”，区别如下：

• 标准解冻：适用于对访问时间要求不是特别紧急的情况，解冻耗时大约需要3~5小时。
• 加急解冻：适用于需要快速访问数据的情况，解冻时间可以在1~5分钟内完成，但可能涉及额外的费用。

迁移中心的存储工作流提供了自动“解冻归档数据”功能，采用加急解冻的方式完成数据恢复。

支持的区域

当前支持以下区域（Region）：

• 华北-北京四
• 华北-乌兰察布一
• 华南-广州
• 华东-上海一
• 华南-广州-友好用户环境
• 华东-青岛
• 西南-贵阳

约束与限制

• 单个对象大小不能超过：500 MB x 10000 = 4.76837158203125 TB，否则可能会导致迁移失败。
• 在迁移过程中，系统将自动在目的端桶创建一个名为“oms”的临时文件夹。严禁手动操作此文件夹，包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。
• 在进行NAS迁移任务时，请确保挂载后的文件绝对路径长度不超过4095字节。如果超过该长度可能导致迁移任务出现异常，无法正常完成。
• NAS_SMB迁移暂不支持迁移软链接。

准备工作

• 华为账号准备

  使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，并获取账号/IAM用户的访问密钥（AK/SK）。获取方法请参考准备工作。

• 创建迁移项目

  在MgC控制台为本次迁移创建独立的项目，方法请参考项目管理。

• 创建目的端OBS桶

  在华为云创建一个用于接收源端数据的OBS桶，区域选择您希望迁移到的目的端区域。创建方法请参考创建桶。

• 权限配置

  确保源端账号和目的端账号拥有迁移需要的权限，详细介绍请参见如何获取源端桶和目的端桶权限？。

• 创建集群

  通过集群可以创建Master节点、迁移节点和列举节点，确保存储工作流的顺利运行。创建方法请参考创建集群。

创建迁移工作流

1. 登录迁移中心管理控制台。
2. 在左侧导航栏选择“实施>迁移工作流”，进入迁移工作流页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
3. 单击页面右上角的“创建迁移工作流”按钮，进入选择模板页面。

   

4. 选择存储迁移标准模板，单击“开始配置”按钮，进行工作流配置。

   

5. 根据表1，配置基础信息参数。

   

   表1 基础信息参数配置说明

   参数	说明
   名称	用户自定义。
   区域	在下拉菜单中选择目的端桶所在区域。
   描述	用户自定义。
   集群	选择在完成准备工作时，创建的集群作为迁移集群。

6. 根据表2、表3，配置源端、目的端信息。

   

   表2 源端信息参数说明

   参数	说明
   数据站点类型	根据实际的源端云平台选择。
   AK	输入源端云账号的访问密钥。
   SK	输入源端云账号的私有密钥。
   桶	输入源端需要迁移的桶名。
   对象存储终端地址	输入源端桶所在区域的终端节点（Endpoint）信息。 例如：站点类型选择阿里云OSS，源端桶所在区域为华东1（杭州），则输入“oss-cn-hangzhou.aliyuncs.com”。
   桶类型	数据站点类型为华为云OBS时选择。根据桶的实际类型选择。桶类型可以通过查看桶的基本信息获取。
   appID	数据站点类型为腾讯云COS时填写。填写腾讯云APPID。 说明： 您可以在腾讯云控制台账号信息页面查看APPID。

   表3 目的端信息参数说明

   参数	说明
   数据站点类型	选择“华为云OBS”。
   AK	输入华为云迁移账号的访问密钥和私有密钥。
   SK
   桶	选择创建的目的端OBS桶。
   对象存储终端地址	输入目的端桶所在区域的终端节点（Endpoint）信息。 例如：目的端桶所在区域为华北-北京四，则输入“obs.cn-north-4.myhuaweicloud.com”。 说明： 可在OBS桶的基本信息查看。
   指定前缀	可选参数。将对象迁移到指定前缀，例如：源端对象路径为/A/B/C.txt，目的端前缀配置为/D，迁移后目的端对象路径为/D/A/B/C.txt。详细介绍请参考 设置“保存到指定前缀”参数中的功能介绍。

7. 根据表4，进行迁移配置。

   

   表4 迁移配置参数说明

   参数	子参数	说明
   迁移任务类型	列表迁移	通过列表文件过滤迁移，只迁移列表文件中的对象。
   并发子任务数	-	用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。
   同名覆盖方式	不覆盖	对于源端和目的端存在的同名文件，跳过源端文件，保留目的端文件。
   	直接覆盖	对于源端和目的端存在的同名文件，源端文件直接覆盖目的端文件。
   	条件覆盖	对于源端和目的端存在的同名文件，保留最后修改时间较新的文件；如果最后修改时间相同，比较文件大小，大小不同则源端覆盖目的端文件；如果最后修改时间和大小都相同，则跳过。
   清理集群	-	选择工作流是否创建清理集群步骤。 勾选，迁移工作流将自动创建清理集群步骤，您还可以继续配置是否删除NAT网关、安全组、VPCEP服务等。 不勾选，迁移工作流不创建清理集群步骤。

8. 单击高级选项（可选）前的按钮，展开高级选项，勾选“解冻归档数据”。其余功能根据实际需求选择并配置，各功能的说明请参见表5。

   

   表5 高级选项功能说明

   功能	说明
   目的端存储类型	选择迁移到华为云OBS后，对象的存储类型。存储策略说明请参见存储类型介绍。
   KMS加密	不勾选，迁移后对象状态与源端保持一致。 勾选，所有对象在迁移到OBS桶后都将被加密存储。 说明： 使用KMS服务端加密可能会降低迁移速率10%左右。 目的端桶所在区域支持KMS加密时，此参数才可用。
   解冻归档数据	不勾选：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。 勾选：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。 说明： 在数据迁移时，系统会对所有数据发起取回操作，源端云服务商会收取相应的API调用费用和存储费用。
   过滤配置	通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。
   SMN消息发送配置	选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。 不勾选，不接收SMN消息。 勾选，接收SMN消息。选择SMN主题，会向该主题的订阅者发送消息；选择消息发送语言；选择发送消息的触发条件，支持同时勾选。
   流量控制	设置迁移任务在指定时段的最大流量带宽。 不勾选，不进行流量控制。 勾选，进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。 例如：设置开始时间08：00、结束时间12：00、限速为20 MB/s，当迁移任务运行到（08:00~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。 说明： 限速的数值范围：0~1048576 MB/s 。 最多可以创建5条记录。 时区时间以目的端Region的当地时间为准。
   定时迁移	设置迁移任务在指定时间内迁移。 不勾选，手动启动/暂停迁移任务。 勾选，设置任务在指定时间范围内进行迁移，指定时间以外则暂停迁移。 例如： 设置开始时间08：00、结束时间12：00，则迁移任务会在每天早晨08:00至中午12:00该时间段进行迁移。该时间段以外，则迁移任务暂停。 设置开始时间12：00、结束时间08：00，则迁移任务会在每天中午12：00至次日早晨08：00该时间段进行迁移。该时间段以外，则迁移任务暂停。

9. 工作流配置完成后，单击“下一步：确认并创建”按钮，进入确认并创建页面。
10. 确认配置信息无误后，单击“确认创建工作流”，弹出启动工作流窗口，此时工作流已创建完成。
    • 如果您希望立即开始迁移，则单击“确认”按钮，立即运行工作流。
    • 如果您需要在工作流中添加阶段/步骤，则单击“取消”，此时迁移工作流状态为“等待中”，并未开始迁移。确定工作流步骤后，单击“运行”按钮，开始迁移。

11. 在工作流详情页面，可以查看该工作流的配置信息和资源迁移进度。还可以进行如下操作：
    • 将鼠标放置资源迁移进度条，在弹窗中可以查看该资源更多迁移信息。
    • 当迁移步骤（进度条）到达需要手动确认的步骤时，您需要将鼠标放置在进度条上，并在弹出的窗口中单击步骤状态后的“确认”。只有完成这一操作，系统才会继续进行后续的迁移步骤。
    • 在基础信息区域，单击集群名称后的“管理”，右侧弹出集群详细信息页面。在这个页面上，您可以进行如下操作：
      • 设置流量控制规则：您可以添加、编辑或删除流量控制规则，以确保集群内的流量按照您的需求进行管理。
      • 节点管理：您可以根据实际需求，添加/删除迁移节点和列举节点，也可以对现有节点进行插件升级。