创建文件存储迁移任务
本节介绍文件存储迁移任务的创建方法及参数配置说明。
前提条件
- 已完成准备工作。
- 已创建集群。
- （可选）已打通SFS 1.0、3.0和集群之间的网络
步骤一：创建并配置文件存储迁移任务
- 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的应用迁移项目。
- 在左侧导航栏选择，进入“文件存储迁移”页面。
- 单击“创建迁移任务”按钮，进入“创建迁移任务”页面。
- 根据表1，配置基础信息参数。
表1 基础信息参数说明 参数
说明
名称
用户自定义。只支持输入英文、数字、中文、中划线、下划线以及小数点，必须以中文、英文或者数字开头，且不能以小数点开头或结尾。
区域
下拉菜单中选择目的端所在区域。
描述
用户自定义。字符长度限制255，只支持输入英文、数字、中文、中划线、下划线、逗号、句号、顿号、空格以及小数点，且不能以小数点、中划线或下划线开头。
集群
选择创建的集群作为迁移集群。
- 根据表2、表3，配置源端、目的端信息。
- 根据表4，进行迁移配置。
表4 迁移配置参数说明 参数
子参数
说明
迁移方式
全量迁移
迁移源端桶/文件夹内的全部数据。
列表迁移
通过列表文件过滤迁移，只迁移列表文件中的对象。
在“列表路径”输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下：
- 目的端为OBS
- 对象列表文件大小不能超过30MB。
- 对象列表文件类型必须为.txt类型，并且元数据ContentType只能为text/plain。
- 对象列表文件必须是UTF-8无BOM格式编码格式。
- 对象列表文件每行只能包含一个对象名称，且对象名称使用URL Encode编码。
- 对象列表文件行长度不超过16KB，否则迁移失败。
- 对象列表文件元数据中不能设置ContentEncoding，否则迁移失败。
- 对象列表文件行数不超过10,000行。
- 目的端为NAS
- 对象列表文件大小不能超过30MB。
- 对象列表文件类型必须为.txt类型。
- 对象列表文件必须是UTF-8无BOM格式编码格式。
- 对象列表文件每行只能包含一个对象名称，且对象名称使用URL Encode编码。
- 对象列表文件行长度不超过16KB，否则迁移失败。
- 对象列表文件行数不超过10,000行。
注意：前缀迁移
仅支持云平台数据类型。
在“前缀路径”输入对象名称或者名称前缀，则只迁移与输入对象名称或名称前缀一致的对象。
- 输入对象前缀路径时，如果对象文件在源端桶的根目录下，则直接添加前缀；如果对象文件存在目录路径，则需要在对象前缀前添加对象文件所在的目录路径。格式为：文件夹/对象前缀。
- 多个前缀之间用英文逗号分隔。
并发子任务数
-
默认5，支持用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。
同名覆盖方式
不覆盖
对于源端和目的端存在的同名文件，跳过源端文件，保留目的端文件。
警告：- 首次迁移时选择“不覆盖”，不会迁移源端中父文件夹的属性到目的端，可能会造成文件夹属性不完整。为规避这一风险，首次迁移时请谨慎使用“不覆盖”策略。
- 选择“不覆盖”策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会造成部分数据未完全迁移，而任务显示成功的现象，影响数据的完整性。为规避这一风险，请谨慎使用“不覆盖”策略。
直接覆盖
对于源端和目的端存在的同名文件，源端文件直接覆盖目的端文件。
对象大小与最后修改时间覆盖
- 对于文件迁移：源端和目的端存在的同名文件，保留最后修改时间较新的文件；如果最后修改时间相同，比较文件大小，大小不同则源端覆盖目的端文件；如果最后修改时间和大小都相同，则跳过；
- 对于文件夹迁移：当文件迁移完成后再比对文件夹大写、时间和权限，如果文件夹大小不同/时间不相同/权限不相同，则源端覆盖目的端文件夹； 说明：
对于空文件夹，覆盖策略与文件相同。
CRC64对比覆盖
迁移前，对于源端和目的端存在的同名对象，对比源端和目的端对象元数据中的CRC64值，相同则跳过，不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间对比覆盖策略执行。说明：- 目前仅支持华为云、阿里云、腾讯云。
- 目的端OBS桶需开启CRC64特性白名单。
一致性校验
对象大小与最后修改时间校验
默认配置，通过对比源端和目的端对象大小与最后修改时间，判断迁移后数据是否完整。
说明：在迁移过程中，文件内容发生变化，但文件大小与最后更新时间均未改变，迁移至目的端后，可能出现内容与源端不一致的情况。
CRC64校验
通过对比源端和目的端对象元数据中CRC64值，校验数据一致性。当源端数据或目的端数据未含CRC64，OMS会生成CRC64值。注意：CRC64校验可能会产生额外的外网流量费用和请求费用。详见一致性校验说明。说明：- 目前仅支持NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL。
- 目的端OBS桶需开启CRC64特性白名单。
迁移元数据
-
选择是否迁移元数据。
- 勾选，则迁移源端对象元数据。
- 不勾选时，仅迁移Content-Type和Content-Encoding元数据。如果源端存储服务提供商未提供该元数据（如优刻得未提供Content-Encoding），则该元数据将不会被迁移。
清理集群
-
选择工作流是否创建清理集群步骤。
- 勾选，迁移工作流将自动创建清理集群步骤，您还可以继续配置是否删除NAT网关、安全组、VPCEP服务等。
- 不勾选，迁移工作流不创建清理集群步骤，工作流创建30天后系统会自动清除集群。
- 目的端为OBS
- （可选）根据表5，配置高级选项。
表5 高级选项参数说明 参数
说明
过滤配置
通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。
SMN消息发送配置
选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。
- 不勾选，不接收SMN消息。
- 勾选，接收SMN消息。选择SMN主题，会向该主题的订阅者发送消息；选择消息发送语言；选择发送消息的触发条件，支持同时勾选。
流量控制
设置迁移任务在指定时段的最大流量带宽。
- 不勾选，不进行流量控制。
- 勾选，进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。
定时迁移
设置迁移任务在指定时间内迁移。
步骤二：配置确认信息
- 迁移任务配置完成后，单击“下一步：确认信息”按钮，进入确认信息页面。
- 确认配置信息无误后，单击“确认创建迁移任务”，弹出启动迁移任务窗口，此时工作流已创建完成。
- 如果您希望立即开始迁移，则单击“确认”按钮，立即运行工作流。
- 如果仅需保存任务配置暂不启动迁移，则单击“取消”。此时迁移任务状态为“待启动”，尚未开始迁移。后续可在任务列表中单击“启动”按钮启动迁移。
步骤三：跟踪迁移任务
- 查看资源迁移详情：单击资源名称，右侧弹出“资源迁移详情”窗口，可以查看该资源的迁移“基本信息”，“运行状态”和“资源迁移进度”等信息。还可以进行如下操作：
操作
步骤
更换集群
只有任务状态（即工作流状态）为“已暂停”时，可以进行“更换集群”操作。仅支持健康状态的集群相互切换。
- 在基础信息区域，单击迁移集群名称后的“更换”。
- 在下拉列表中选择新集群，单击“确认”，更换集群后，系统开始自动运行。
修改定时迁移
- 在基础信息区域，单击定时迁移下的“修改”。
- 设置开始时间和结束时间，单击“确认”。
修改并发子任务数
- 在迁移进度区域，单击期望并发子任务数上方的“修改”，配置期望并发的子任务数。配置要求：配置的数目不能超过可用迁移节点数x10。例如，可用的迁移节点数为2，则配置数目需要≤20。
- 单击“确认”，完成并发子任务数修改。
添加迁移限速规则
- 在迁移速度区域，单击“添加”按钮，可以增加一条限速规则，用于限制该资源在某个时间段内的迁移速度。
- 设置完成后，单击“保存”，完成添加。
获取迁移失败/跳过/成功资源列表文件
在迁移统计区域，可以查看存放迁移失败/跳过/成功的资源列表文件路径以及失败对象原因统计。单击路径，可以进入存放文件的OBS桶，获取对应列表文件。您可以参考失败对象列表错误码，排查失败对象的原因和处理方法。
查看迁移流量统计
在流程统计区域，可以查看该资源近1小时、近6小时、近24小时、整个周期迁移流量使用情况。
- 步骤确认：当资源的运行步骤到达需要手动确认的步骤时，单击对应资源“迁移状态”列或“操作”列的“确认”按钮，迁移任务才会继续进行后续迁移步骤。
