创建文件存储批量迁移计划
本节介绍为文件存储批量迁移配置迁移计划的方法。
文件存储批量迁移:适用于源端有多个文件存储地址内的资源需要迁移的场景。如果只有单个文件存储地址内的资源需要迁移,请直接创建单个文件存储迁移工作流。
准备工作
- 创建迁移项目。
在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。
- 创建迁移集群。
通过集群可以创建Master节点、迁移节点和列举节点,确保文件存储工作流的顺利运行。创建方法请参考创建集群。
- 创建目的端弹性文件系统。
在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统或创建SFS Turbo文件系统。
风险提示
在创建工作流时,对于源端和目的端的同名对象,我们提供了四种覆盖策略:对象大小与最后修改时间覆盖、不覆盖、直接覆盖和CRC64对比覆盖。选择“不覆盖”策略进行数据迁移时,如果迁移任务因错误中断后重启或从暂停状态恢复,可能会出现部分数据未完全迁移,但任务显示 “成功” 的情况。影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。
约束与限制
- 一个计划只能创建一个迁移工作流。
- 一个计划最多添加100个文件存储。
- 同一计划下的目的端文件存储必须处于同一区域。
步骤二:迁移资源配置
- 在配置迁移资源页面的目的端区域下拉列表中,选择目的端文件存储所在区域。
- 单击添加资源区域的“添加”按钮,在下方的列表中会新增一行源端文件存储配置信息。
- 根据表2,配置源端文件存储信息。
表2 源端文件存储参数配置说明 参数
说明
须知
源端存储类型
支持的源端存储类型包括:NAS_GFS、NAS_NFS_V3_PROTOCOL、NAS_NFS_V3_MOUNT,请根据实际情况选择。
NAS_GFS:谷歌云文件系统。
NAS_NFS_V3_PROTOCOL:支持标准NFSV3协议的文件系统选用。
NAS_NFS_V3_MOUNT:支持非标准NFSV3协议的文件系统选用。
源端文件存储服务地址
输入源端文件系统的挂载地址。
- 存储类型为NAS_GFS时,文件存储服务地址可以填写主机名、域名、可选的子域、灵活的端口号和路径表示。
- 存储类型为NAS_NFS_V3_PROTOCOL和NAS_NFS_V3_MOUNT时,格式为:
- IP地址:/
- IP地址:/ xxx
- 域名:/
- 域名:/ xxx
无论是全量迁移还是列表迁移,源端文件存储服务地址+路径的组合或源端文件存储服务地址+列表路径的组合都必须是唯一的不能重复,都遵循前缀匹配规则。
例如,已有组合是地址192.168.0.1:/a和路径/abc/a,那么添加或修改另一个地址为192.168.0.1:/a和路径/abc时,会因重复而报错。要覆盖已有路径,需要先删除旧的地址和路径组合。
源端文件路径
输入待迁移文件路径,格式为:/文件夹。
列表迁移时,路径填写为/即可。
目的端存储类型
目前只支持NAS_NFS_V3_MOUNT(非标准NFSV3协议的文件系统)。
-
目的端文件存储服务地址
- 产品类型选择通用文件系统时,输入目的端文件系统的挂载地址。挂载地址可以在文件系统列表页面,单击挂载地址后面的
图标复制获取。
- 产品类型选择SFS Turbo时,输入目的端文件系统的共享路径。共享路径可以在SFS Turbo文件系统列表页面,单击共享路径后面的
图标复制获取。
文件存储服务地址+路径的组合可以重复。
目的端文件路径
输入目的端接收文件的路径,格式为:/文件夹。
-
- 迁移资源配置设置完成后单击操作列“保存”,也支持多条设置完后单击“全部保存”。保存之后支持批量修改。设置完成后单击“下一步”,进行迁移参数配置。
步骤三:迁移参数配置
- 在迁移方式配置区域,对资源进行修改或移除。选择迁移方式:
- 全量迁移:迁移源端文件存储服务地址+路径内的全部数据。
- 列表迁移:通过列表文件过滤迁移,只迁移列表文件中的对象。
- 在迁移任务参数配置区域,根据表3,进行迁移配置。
表3 迁移配置参数说明 参数
子参数
说明
迁移元数据
-
选择是否迁移元数据。
- 勾选,则迁移源端对象元数据。
- 不勾选,仅迁移Content-Type、Content-Encoding元数据。
并发子任务数
-
用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。
同名覆盖方式
不覆盖
对于源端和目的端存在的同名文件,跳过源端文件,保留目的端文件。
警告:- 首次迁移时选择“不覆盖”,不会迁移源端中父文件夹的属性到目的端,可能会造成文件夹属性不完整。为规避这一风险,首次迁移时请谨慎使用“不覆盖”策略。
- 选择“不覆盖”策略进行数据迁移时,如果迁移任务因错误中断后重启或从暂停状态恢复,可能会造成部分数据未完全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。
直接覆盖
对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。
条件覆盖
- 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过;
- 对于文件夹迁移:当文件迁移完成后再比对文件夹大写、时间和权限,如果文件夹大小不同/时间不相同/权限不相同,则源端覆盖目的端文件夹;
说明:
对于空文件夹,覆盖策略与文件相同。
流量控制
-
设置迁移任务在指定时段的最大流量带宽。
- 不勾选,不进行流量控制。
- 勾选,进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。
- (可选)根据表4,配置高级选项。
表4 高级选项参数说明 参数
说明
割接前增量同步
- 勾选,会在迁移阶段的业务验证步骤后增加自动执行的“增量迁移”步骤。
- 不勾选,在迁移阶段的业务验证步骤执行完后,直接进入业务割接阶段。
过滤配置
通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。
SMN消息发送配置
选择是否使用SMN消息通知功能,该功能可以通知您迁移任务的结果。
- 不勾选,不接收SMN消息。
- 勾选,接收SMN消息。选择SMN主题,会向该主题的订阅者发送消息;选择消息发送语言;选择发送消息的触发条件,支持同时勾选。
- 迁移参数配置完成后,单击“下一步”按钮,进入迁移集群配置页面。
步骤六:选择后续操作
确认配置无误后,根据需求选择后续操作。
- 修改迁移计划配置:在迁移计划列表,单击操作列的“设计”,对迁移计划中的配置进行修改。
- 创建文件存储迁移工作流:在迁移计划列表,单击操作列的“创建工作流”,进行文件存储迁移工作流配置和创建。详细介绍和操作请参考创建文件存储批量迁移工作流。
- 如果您希望立即开始迁移,则单击“确认”按钮,启动工作流并进入工作流详情页面。
- 如果您希望仅保存迁移工作流暂不启动迁移,则单击“取消”按钮,此时迁移工作流状态为“等待中”,并未开始迁移。后续在工作流列表中,单击操作列的“运行”按钮,可以手动启动迁移。
关于迁移工作流的更多详细介绍请参见创建文件存储批量迁移工作流。