创建存储迁移工作流
本节介绍如何使用存储迁移标准模板创建存储迁移工作流。
前提条件
- 已完成准备工作。
- 已创建集群。
- (可选)已打通SFS 1.0、3.0和集群之间的网络
操作步骤
- 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的应用迁移项目。
- 在左侧导航栏选择“迁移实施>迁移工作流”,进入迁移工作流页面。
- 单击页面右上角的“创建迁移工作流”按钮,进入选择模板页面。
- 选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。
- 根据表1,配置基础信息参数。
- 根据表2、表3,配置源端、目的端信息。
- 根据表4,进行迁移配置。
表4 迁移配置参数说明 参数
子参数
说明
迁移任务类型
全量迁移
迁移源端桶/文件夹内的全部数据。
列表迁移
通过列表文件过滤迁移,只迁移列表文件中的对象。
在“列表路径”输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下:
- 目的端为OBS
- 对象列表文件大小不能超过30 MB。
- 对象列表文件类型必须为.txt类型,并且元数据ContentType只能为text/plain。
- 对象列表文件必须是UTF-8无BOM格式编码格式。
- 对象列表文件每行只能包含一个对象名称,且对象名称使用URL Encode编码。
- 对象列表文件行长度不超过16KB,否则迁移失败。
- 对象列表文件元数据中不能设置ContentEncoding,否则迁移失败。
- 对象列表文件行数不超过10000行。
- 目的端为NAS
- 对象列表文件大小不能超过30 MB。
- 对象列表文件类型必须为.txt类型。
- 对象列表文件必须是UTF-8无BOM格式编码格式。
- 对象列表文件每行只能包含一个对象名称,且对象名称使用URL Encode编码。
- 对象列表文件行长度不超过16KB,否则迁移失败。
- 对象列表文件行数不超过10000行。
前缀迁移
仅支持云平台数据类型。
在“前缀路径”输入对象名称或者名称前缀,则只迁移与输入对象名称或名称前缀一致的对象。
须知:- 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀
- 多个前缀之间用英文逗号分隔。
并发子任务数
-
用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。
同名覆盖方式
不覆盖
对于源端和目的端存在的同名文件,跳过源端文件,保留目的端文件。
警告:- 首次迁移时选择“不覆盖”,不会迁移源端中父文件夹的属性到目的端,可能会造成文件夹属性不完整。为规避这一风险,首次迁移时请谨慎使用“不覆盖”策略。
- 选择“不覆盖”策略进行数据迁移时,如果迁移任务因错误中断后重启或从暂停状态恢复,可能会造成部分数据未完全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。
直接覆盖
对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。
对象大小与最后修改时间覆盖
- 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过;
- 对于文件夹迁移:当文件迁移完成后再比对文件夹大写、时间和权限,如果文件夹大小不同/时间不相同/权限不相同,则源端覆盖目的端文件夹;
说明:
对于空文件夹,覆盖策略与文件相同。
CRC64对比覆盖
- 迁移前,对于源端和目的端存在的同名对象,对比源端和目的端对象元数据中的CRC64值,相同则跳过,不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间对比覆盖策略执行。
说明:
- 目前仅支持华为云、阿里云、腾讯云。
- 目的端OBS桶需开启CRC64特性白名单。
一致性校验
对象大小与最后修改时间校验
默认配置,通过对比源端和目的端对象大小与最后修改时间,判断迁移后数据是否完整。
CRC64校验
通过对比源端和目的端对象元数据中CRC64值,判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间校验策略。说明:
- 目前仅支持华为云、阿里云、腾讯云。
- 目的端OBS桶需开启CRC64特性白名单。
迁移元数据
-
选择是否迁移元数据。
- 勾选,则迁移源端对象元数据。
- 不勾选,仅迁移Content-Type、Content-Encoding元数据。
清理集群
-
选择工作流是否创建清理集群步骤。
- 勾选,迁移工作流将自动创建清理集群步骤,您还可以继续配置是否删除NAT网关、安全组、VPCEP服务等。
- 不勾选,迁移工作流不创建清理集群步骤。
- 目的端为OBS
- (可选)根据表5,配置高级选项。
表5 高级选项参数说明 参数
说明
过滤配置
通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。
SMN消息发送配置
选择是否使用SMN消息通知功能,该功能可以通知您迁移任务的结果。
- 不勾选,不接收SMN消息。
- 勾选,接收SMN消息。选择SMN主题,会向该主题的订阅者发送消息;选择消息发送语言;选择发送消息的触发条件,支持同时勾选。
流量控制
设置迁移任务在指定时段的最大流量带宽。
- 不勾选,不进行流量控制。
- 勾选,进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。
定时迁移
设置迁移任务在指定时间内迁移。
- 工作流配置完成后,单击“下一步:确认并创建”按钮,进入确认并创建页面。
- 确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,单击“确认”按钮,立即运行工作流。
- 在工作流列表,单击工作流名称,进入工作流详情页面,可以查看该迁移工作流的配置信息和资源迁移进度。