归档存储（冷存储）数据迁移
背景概述
冷存储是一种针对不频繁访问数据的长期备份解决方案，例如，平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。
在迁移冷存储数据时，一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻结"状态，因此在需要访问时必须先进行数据恢复（即解冻）。解冻方式分为“标准解冻”和“加急解冻”，区别如下：
- 标准解冻：适用于对访问时间要求不是特别紧急的情况，解冻耗时大约需要3~5小时。
- 加急解冻：适用于需要快速访问数据的情况，解冻时间可以在1~5分钟内完成，但可能涉及额外的费用。
迁移中心的存储工作流提供了自动“解冻归档数据”功能，采用加急解冻的方式完成数据恢复。
支持的区域
当前支持以下区域（Region）：
- 拉美-圣地亚哥
- 拉美-圣保罗
- 土耳其-伊斯坦布尔
- 亚太-曼谷
- 亚太-新加坡
- 亚太-雅加达
- 中东-利雅得
- 华北-北京四
- 华东-上海一
约束与限制
- 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些？
- 源端为阿里云OSS：当源端对象的存储类型是深度冷归档存储时，无法使用MgC提供的解冻归档数据功能直接迁移，需要在源端先手动解冻后再迁移。
准备工作
- 华为账号准备
使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，并获取账号/IAM用户的访问密钥（AK/SK）。获取方法请参考准备工作。
- 创建应用迁移项目
在MgC控制台为本次迁移创建独立的项目，方法请参考项目管理。
- 创建目的端OBS桶
在华为云创建一个用于接收源端数据的OBS桶，区域选择您希望迁移到的目的端区域。创建方法请参考创建桶。
- 权限配置
确保源端账号和目的端账号拥有迁移需要的权限，详细介绍请参见如何获取源端桶和目的端桶权限？。
- 创建集群
通过集群可以创建Master节点、迁移节点和列举节点，确保存储工作流的顺利运行。创建方法请参考创建集群。
创建迁移工作流
- 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时所创建的应用迁移项目。
- 在左侧导航栏选择“迁移实施>迁移工作流”，进入迁移工作流页面。
- 单击页面右上角的“创建迁移工作流”按钮，进入选择模板页面。
- 选择存储迁移标准模板，单击“开始配置”按钮，进行工作流配置。
- 根据表1，配置基础信息参数。
- 根据表2、表3，配置源端、目的端信息。
表2 源端信息参数说明 参数
说明
数据站点类型
根据实际的源端云平台选择。
AK
输入源端云账号的访问密钥。
SK
输入源端云账号的私有密钥。
桶
输入源端需要迁移的桶名。
对象存储终端地址
输入源端桶所在区域的终端节点（Endpoint）信息。
例如：站点类型选择阿里云OSS，源端桶所在区域为华东1（杭州），则输入“oss-cn-hangzhou.aliyuncs.com”。
桶类型
数据站点类型为华为云OBS时选择。根据桶的实际类型选择。桶类型可以通过查看桶的基本信息获取。
appID
数据站点类型为腾讯云COS时填写。填写腾讯云APPID。
说明：
您可以在腾讯云控制台账号信息页面查看APPID。
表3 目的端信息参数说明 参数
说明
数据站点类型
选择“华为云OBS”。
AK
输入华为云迁移账号的访问密钥和私有密钥。
SK
桶
选择创建的目的端OBS桶。
对象存储终端地址
输入目的端桶所在区域的终端节点（Endpoint）信息。
例如：目的端桶所在区域为华北-北京四，则输入“obs.cn-north-4.myhuaweicloud.com”。
指定前缀
可选参数。将对象迁移到指定前缀，例如：源端对象路径为/A/B/C.txt，目的端前缀配置为/D，迁移后目的端对象路径为/D/A/B/C.txt。详细介绍请参考
设置“保存到指定前缀”参数中的功能介绍。
- 根据表4，进行迁移配置。
表4 迁移配置参数说明 参数
子参数
说明
迁移任务类型
全量迁移
迁移源端桶/文件夹内的全部数据。
列表迁移
通过列表文件过滤迁移，只迁移列表文件中的对象。
在“列表路径”输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下：
- 目的端为OBS
- 对象列表文件大小不能超过30 MB。
- 对象列表文件类型必须为.txt类型，并且元数据ContentType只能为text/plain。
- 对象列表文件必须是UTF-8无BOM格式编码格式。
- 对象列表文件每行只能包含一个对象名称，且对象名称使用URL Encode编码。
- 对象列表文件行长度不超过16KB，否则迁移失败。
- 对象列表文件元数据中不能设置ContentEncoding，否则迁移失败。
- 对象列表文件行数不超过10000行。
- 目的端为NAS
- 对象列表文件大小不能超过30 MB。
- 对象列表文件类型必须为.txt类型。
- 对象列表文件必须是UTF-8无BOM格式编码格式。
- 对象列表文件每行只能包含一个对象名称，且对象名称使用URL Encode编码。
- 对象列表文件行长度不超过16KB，否则迁移失败。
- 对象列表文件行数不超过10000行。
前缀迁移
仅支持云平台数据类型。
在“前缀路径”输入对象名称或者名称前缀，则只迁移与输入对象名称或名称前缀一致的对象。
须知：- 输入对象前缀路径时，如果对象文件在源端桶的根目录下，则直接添加前缀；如果对象文件存在目录路径，则需要在对象前缀前添加对象文件所在的目录路径。格式为：文件夹/对象前缀
- 多个前缀之间用英文逗号分隔。
并发子任务数
-
用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。
同名覆盖方式
不覆盖
对于源端和目的端存在的同名文件，跳过源端文件，保留目的端文件。
警告：- 首次迁移时选择“不覆盖”，不会迁移源端中父文件夹的属性到目的端，可能会造成文件夹属性不完整。为规避这一风险，首次迁移时请谨慎使用“不覆盖”策略。
- 选择“不覆盖”策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会造成部分数据未完全迁移，而任务显示成功的现象，影响数据的完整性。为规避这一风险，请谨慎使用“不覆盖”策略。
直接覆盖
对于源端和目的端存在的同名文件，源端文件直接覆盖目的端文件。
对象大小与最后修改时间覆盖
- 对于文件迁移：源端和目的端存在的同名文件，保留最后修改时间较新的文件；如果最后修改时间相同，比较文件大小，大小不同则源端覆盖目的端文件；如果最后修改时间和大小都相同，则跳过；
- 对于文件夹迁移：当文件迁移完成后再比对文件夹大写、时间和权限，如果文件夹大小不同/时间不相同/权限不相同，则源端覆盖目的端文件夹；
说明：
对于空文件夹，覆盖策略与文件相同。
CRC64对比覆盖
- 迁移前，对于源端和目的端存在的同名对象，对比源端和目的端对象元数据中的CRC64值，相同则跳过，不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间对比覆盖策略执行。
说明：
- 目前仅支持华为云、阿里云、腾讯云。
- 目的端OBS桶需开启CRC64特性白名单。
一致性校验
对象大小与最后修改时间校验
默认配置，通过对比源端和目的端对象大小与最后修改时间，判断迁移后数据是否完整。
CRC64校验
通过对比源端和目的端对象元数据中CRC64值，判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间校验策略。 说明：
- 目前仅支持华为云、阿里云、腾讯云。
- 目的端OBS桶需开启CRC64特性白名单。
迁移元数据
-
选择是否迁移元数据。
- 勾选，则迁移源端对象元数据。
- 不勾选，仅迁移Content-Type、Content-Encoding元数据。
清理集群
-
选择工作流是否创建清理集群步骤。
- 勾选，迁移工作流将自动创建清理集群步骤，您还可以继续配置是否删除NAT网关、安全组、VPCEP服务等。
- 不勾选，迁移工作流不创建清理集群步骤。
- 目的端为OBS
- 单击高级选项（可选）前的
按钮，展开高级选项，勾选“解冻归档数据”。其余功能根据实际需求选择并配置，各功能的说明请参见表5。
表5 高级选项功能说明 功能
说明
目的端存储类型
选择迁移到华为云OBS后，对象的存储类型。存储策略说明请参见存储类型介绍。
KMS加密
- 不勾选，迁移后对象状态与目的端桶级服务端加密状态保持一致。
- 勾选，所有对象在迁移到OBS桶后都将被加密存储。
说明：
- 使用KMS服务端加密可能会降低迁移速率10%左右。
- 目的端桶所在区域支持KMS加密时，此参数才可用。
解冻归档数据
- 不勾选：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。
- 勾选：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。
说明：
在数据迁移时，系统会对所有数据发起取回操作，源端云服务商会收取相应的API调用费用和存储费用。
过滤配置
通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。
SMN消息发送配置
选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。
- 不勾选，不接收SMN消息。
- 勾选，接收SMN消息。选择SMN主题，会向该主题的订阅者发送消息；选择消息发送语言；选择发送消息的触发条件，支持同时勾选。
流量控制
设置迁移任务在指定时段的最大流量带宽。
- 不勾选，不进行流量控制。
- 勾选，进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。
定时迁移
设置迁移任务在指定时间内迁移。
- 工作流配置完成后，单击“下一步：确认并创建”按钮，进入确认并创建页面。
- 确认配置信息无误后，单击“确认创建工作流”，弹出启动工作流窗口，此时工作流已创建完成。
- 如果您希望立即开始迁移，则单击“确认”按钮，立即运行工作流。
- 如果您需要在工作流中添加阶段/步骤，则单击“取消”，此时迁移工作流状态为“等待中”，并未开始迁移。确定工作流步骤后，单击“运行”按钮，开始迁移。
- 在工作流详情页面，可以查看该工作流的配置信息和资源迁移进度。还可以进行如下操作：
- 将鼠标移动到资源迁移进度条，在弹窗中可以查看该资源更多迁移信息。
- 当迁移步骤（进度条）到达需要手动确认的步骤时，您需要将鼠标移动到进度条上，并在弹出的窗口中单击步骤状态后的“确认”。只有完成这一操作，系统才会继续进行后续的迁移步骤。
- 在基础信息区域，单击集群名称后的“管理”，右侧弹出集群详细信息页面。在这个页面上，您可以进行如下操作：
- 设置流量控制规则：您可以添加、编辑或删除流量控制规则，以确保集群内的流量按照您的需求进行管理。
- 节点管理：您可以根据实际需求，添加/删除迁移节点和列举节点，也可以对现有节点进行插件升级。
- 在基础信息区域，单击展开“高级选项”，当开启增量迁移并且选择自动迁移模式时，自动增量迁移次数支持修改。
