批量文件存储迁移
什么是批量文件存储迁移
批量文件存储迁移服务提供专属迁移集群和专线,支持批量创建文件存储数据迁移任务,实现文件存储数据的高效迁移。适用于源端有多个文件存储地址内的资源需要迁移的场景。使用独享集群会产生一定费用,详细费用说明请参考迁移集群费用说明。
风险提示
在创建工作流时,对于源端和目的端的同名对象,我们提供了三种覆盖策略:不覆盖、直接覆盖和对象大小与最后修改时间覆盖。选择“不覆盖”策略进行数据迁移时,如果迁移任务因错误中断后重启或从暂停状态恢复,可能会造成部分数据未完全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。
操作流程
批量文件存储迁移的完整操作流程,请参见表1。
|
步骤 |
说明 |
|---|---|
|
|
|
在迁移任务中需要绑定集群,用于创建迁移任务。如果当前无可用集群,可提前在迁移集群管理页创建。 |
|
|
创建批量文件存储迁移任务。该步骤仅创建了迁移任务模板,还需要完成任务配置。 |
|
|
配置迁移任务,包括迁移资源配置、迁移参数配置、迁移集群配置和配置确认等操作。 |
|
|
启动迁移任务后,查看迁移任务内资源的运行状态、迁移阶段和迁移步骤等信息。 |
准备工作
在创建批量对象存储迁移任务之前,请参照表2提前完成准备工作。
|
事项 |
方法和要求 |
|---|---|
|
账号和权限准备 |
|
|
创建应用迁移项目 |
创建独立的迁移项目,将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。具体操作,请参见创建应用迁移项目。 |
|
创建弹性文件系统 |
步骤一:创建迁移集群
- 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。
- 在左侧导航栏选择“其他 > 迁移集群管理”,进入迁移集群管理页面。
- 单击页面右上角的“创建集群”按钮,进入创建集群页面。
- 根据表3,配置参数。
表3 集群参数配置说明 区域
参数
配置说明
限制说明
基础配置
集群名称
自定义名称。
同一账户下集群名称不可重名。
区域
选择创建集群的区域。
与目的端区域保持一致。
集群类型
选择集群使用场景。
当前仅支持存储迁移场景。
节点配置
密钥对
用于远程登录集群的弹性云服务器时进行身份认证。需要提前创建账号密钥对,方法请参考创建密钥对。
-
企业项目
该参数针对企业用户使用。可以将ECS加入已启用的企业项目。如果当前账号无可用企业项目,则默认创建并使用“default”企业项目。
企业项目管理提供了一种按企业项目管理云资源的方式,帮助您实现以企业项目为基本单元的资源及人员的统一管理,默认项目为default。
关于创建和管理企业项目的详情,请参见《企业管理用户指南》。
-
迁移管理节点ECS规格
用于管理迁移节点和列举节点。
节点数量为1,无法修改。
迁移节点ECS规格
迁移节点用于执行迁移和对比的动作,推荐规格8U16G。
- 规格选定后,后续无法更改。
- 设置的节点数量需要同时满足如下要求:
- 迁移节点数+列举节点数+1 ≤100
- 迁移节点数+列举节点数+1 ≤子网可用IP数
列举节点ECS规格
列举节点用于执行列举动作,推荐规格8U16G。
网络配置
虚拟私有云
在下拉列表中选择虚拟私有云。
-
子网
选择与虚拟私有云网段相同且满足可用IP数的子网。
子网的可用IP数≥迁移节点数+列举节点数+1。
模式选择
- 公网:使用公网迁移,并选择公网网关。如果没有可用网关,选择“新建网关”,选择网关规格和EIP(EIP最多支持同时勾选20个)。
- 内网:使用内网迁移,适用于同一区域内的迁移场景。
- 专线:使用专线迁移,通过专线直接访问源端数据。搭建云专线的方法可参考云专线最佳实践。
-
-
启用LTS服务
启用:记录存储迁移过程中的日志,便于查看和定位迁移中出现的问题。
-
- 参数配置完成后,单击“确认”开始创建集群,在迁移集群列表中查看集群状态,状态详情参见集群状态说明。如果集群状态为创建失败,将鼠标移动到“创建失败”上,可以查看失败原因。在解决失败原因后,可以通过操作列的“更多 > 重试”功能,重新创建集群。
步骤二:创建迁移任务
- 在左侧导航栏选择,进入“批量存储迁移”页面。
- 单击“文件存储 > 创建迁移任务”按钮,右侧弹出“创建迁移任务”窗口。
- 系统会默认创建任务名称,您也可以自定义任务名称。输入任务相关描述(可选)。
- 单击“确认”,文件存储批量迁移任务创建完成并进入任务配置页面的“配置迁移资源”阶段。参考步骤三,完成迁移任务配置。
添加资源支持以下两种方式:
- 手动添加:
- 在“迁移资源配置”页面的“目的端区域”下拉框中,选择目的端文件存储所在区域。同一迁移任务下的目的端文件存储必须处于同一区域。
- 单击添加资源区域的“添加”按钮,在下方的列表中会新增一行源端文件存储配置信息。
- 根据表4,配置源端文件存储信息。
表4 源端文件存储参数配置说明 参数
说明
须知
源端存储类型
支持的源端存储类型包括:NAS_GFS、NAS_NFS_V3_PROTOCOL、NAS_NFS_V3_MOUNT、NAS_SMB请根据实际情况选择。
NAS_GFS:谷歌云文件系统。
NAS_NFS_V3_PROTOCOL:支持标准NFSV3协议的文件系统选用。
NAS_NFS_V3_MOUNT:支持非标准NFSV3协议的文件系统选用。
NAS_SMB:SMB/CIFS文件系统。
凭证
单击下拉选择凭证。如未提前添加凭证,请单击“新增凭证”,填写凭证名称、选择认证方式、输入用户名、密码、域。单击“确认”,完成添加。
- 用户名:输入具有访问源端文件系统所有文件权限的用户名,例如:administrator。
- 密码:输入用户名对应的密码。
- (可选)域:打开控制台,执行以下命令获取域名。
wmic computersystem get domain
说明:- 只需输入.com之前的内容,例如:域名为test.com,则输入test。
- 如果域信息返回是“WORKGROUP”,可以为空
支持的源端存储类型选择NAS_SMB时选择。
源端文件存储服务地址
输入源端文件系统的挂载地址。
- 存储类型为NAS_GFS时,文件存储服务地址可以填写主机名、域名、可选的子域、灵活的端口号和路径表示。
- 存储类型为NAS_NFS_V3_PROTOCOL和NAS_NFS_V3_MOUNT时,格式为:
- IP地址:/
- IP地址:/ xxx
- 域名:/
- 域名:/ xxx
无论是全量迁移还是列表迁移,源端文件存储服务地址+路径的组合或源端文件存储服务地址+列表路径的组合都必须是唯一的不能重复,都遵循前缀匹配规则。
例如,已有组合是地址192.168.0.1:/a和路径/abc/a,那么添加或修改另一个地址为192.168.0.1:/a和路径/abc时,会因重复而报错。要覆盖已有路径,需要先删除旧的地址和路径组合。
源端文件路径
输入待迁移文件路径,格式为:/文件夹。
列表迁移时,路径填写为/即可。
目的端存储类型
目前支持NAS_NFS_V3_MOUNT(非标准NFSV3协议的文件系统)。
-
目的端文件存储服务地址
请先在目的端区域创建弹性文件存储实例。格式为IP地址或域名+:/地址,例如:192.1.1.1:/0001。
- 产品类型选择通用文件系统时,输入目的端文件系统的挂载地址。挂载地址可以在文件系统列表页面,单击挂载地址后面的
图标复制获取。 - 产品类型选择SFS Turbo时,输入目的端文件系统的共享路径。共享路径可以在SFS Turbo文件系统列表页面,单击共享路径后面的
图标复制获取。
文件存储服务地址+路径的组合可以重复。
目的端文件路径
输入目的端接收文件的路径,格式为:/文件夹。
-
- 迁移资源配置设置完成后单击操作列“保存”,也支持多条设置完后单击“全部保存”。保存之后支持批量修改。设置完成后单击“下一步”,进行迁移参数配置。
- 模板批量导入:
- 在“迁移资源配置”页面的“目的端区域”下拉框中,选择目的端文件存储所在区域。同一迁移任务下的目的端文件存储必须处于同一区域。
- 单击添加资源区域的“导入”按钮,弹出导入文件存储迁移配置弹窗。
- 单击“下载模板”按钮,下载导入模板。根据表5,配置模板内文件存储页签信息并保存Excel。
表5 配置明细说明 参数
说明
须知
源端存储类型
支持的源端存储类型包括:NAS_GFS、NAS_NFS_V3_PROTOCOL、NAS_NFS_V3_MOUNT、NAS_SMB请根据实际情况选择。
NAS_GFS:谷歌云文件系统。
NAS_NFS_V3_PROTOCOL:支持标准NFSV3协议的文件系统选用。
NAS_NFS_V3_MOUNT:支持非标准NFSV3协议的文件系统选用。
NAS_SMB:SMB/CIFS文件系统。
源端凭证名称
选填。输入源端凭证名称。
仅当源端存储类型选择NAS_SMB且已在MgC上配置了连接源端存储所必需的凭证时才需要配置相应的凭证名称。
源端文件存储服务地址
输入源端文件系统的挂载地址。
- 存储类型为NAS_GFS时,文件存储服务地址可以填写主机名、域名、可选的子域、灵活的端口号和路径表示。
- 存储类型为NAS_NFS_V3_PROTOCOL和NAS_NFS_V3_MOUNT时,格式为:
- IP地址:/
- IP地址:/ xxx
- 域名:/
- 域名:/ xxx
无论是全量迁移还是列表迁移,源端文件存储服务地址+路径的组合或源端文件存储服务地址+列表路径的组合都必须是唯一的不能重复,都遵循前缀匹配规则。
例如,已有组合是地址192.168.0.1:/a和路径/abc/a,那么添加或修改另一个地址为192.168.0.1:/a和路径/abc时,会因重复而报错。要覆盖已有路径,需要先删除旧的地址和路径组合。
源端文件路径
输入待迁移文件路径,格式为:/文件夹。
列表迁移时,路径填写为/即可。
目的端存储类型
目前支持NAS_NFS_V3_MOUNT(非标准NFSV3协议的文件系统)、NAS_SMB(SMB/CIFS文件系统)。
-
目的端凭证名称
选填。输入目的端凭证名称。
仅当目的端存储类型选择NAS_SMB且已在MgC上配置了连接目的端存储所必需的凭证时才需要配置相应的凭证名称。
目的端文件存储服务地址
请先在目的端区域创建弹性文件存储实例。格式为IP地址或域名+:/地址,例如:192.1.1.1:/0001。
- 产品类型选择通用文件系统时,输入目的端文件系统的挂载地址。挂载地址可以在文件系统列表页面,单击挂载地址后面的
图标复制获取。 - 产品类型选择SFS Turbo时,输入目的端文件系统的共享路径。共享路径可以在SFS Turbo文件系统列表页面,单击共享路径后面的
图标复制获取。
文件存储服务地址+路径的组合可以重复。
目的端文件路径
输入目的端接收文件的路径,格式为:/文件夹。
-
迁移方式
迁移方式:DEFAULT、LIST。
DEFAULT:全量迁移,迁移源端文件存储服务地址+路径内的全部数据。
LIST:列表迁移,通过列表文件过滤迁移,只迁移列表文件中的对象。
迁移范围
迁移方式选择列表迁移时,填写列表文件所在路径。
迁移方式选择全量迁移时,无需填写。
- 单击导入底部的“前往OBS存放文件”,跳转到对象存储服务OBS的桶列表页面。
- 选择需要存放的配置文件的桶,将Excel文件上传到该桶中。上传请查看OBS上传使用方式。
- 上传成功后,返回MgC控制台,在导入文件存储迁移配置弹框的下拉列表中,选择存放在OBS桶中的目的端配置Excel文件。
- 单击确认,页面新增文件存储信息。支持批量修改。完成后单击“下一步”,进行迁移参数配置。
- 在“迁移方式配置”区域,对资源进行修改或移除。选择迁移方式:
- 全量迁移:迁移源端文件存储服务地址+路径内的全部数据。
- 列表迁移:通过列表文件过滤迁移,只迁移列表文件中的对象。
- 在“迁移任务参数配置”区域,根据表6,进行迁移配置。
表6 迁移配置参数说明 参数
子参数
说明
迁移元数据
-
选择是否迁移元数据。
- 勾选,则迁移源端对象元数据。
- 不勾选时,仅迁移Content-Type和Content-Encoding元数据。如果源端存储服务提供商未提供该元数据(如优刻得未提供Content-Encoding),则该元数据将不会被迁移。
并发子任务数
-
用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。
同名覆盖方式
说明:NAS文件存储系统不允许存在任何形式的同名文件/文件夹(不区分大小写),因此源端的文件与目的端的文件夹重名、源端的文件夹与目的端文件重名的情况,均会迁移失败。
不覆盖
对于源端和目的端存在的同名文件,跳过源端文件,保留目的端文件。
警告:- 首次迁移时选择“不覆盖”,不会迁移源端中父文件夹的属性到目的端,可能会造成文件夹属性不完整。为规避这一风险,首次迁移时请谨慎使用“不覆盖”策略。
- 选择“不覆盖”策略进行数据迁移时,如果迁移任务因错误中断后重启或从暂停状态恢复,可能会造成部分数据未完全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。
直接覆盖
对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。
对象大小与最后修改时间覆盖
- 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过;
- 对于文件夹迁移:当文件迁移完成后再比对文件夹大写、时间和权限,如果文件夹大小不同/时间不相同/权限不相同,则源端覆盖目的端文件夹;
说明:
对于空文件夹,覆盖策略与文件相同。
流量控制
-
设置迁移任务在指定时段的最大流量带宽。
- (可选)根据表7,配置高级选项。
表7 高级选项参数说明 参数
说明
割接前增量同步
- 勾选,会在迁移阶段的业务验证步骤后增加自动执行的“增量迁移”步骤。
- 不勾选,在迁移阶段的业务验证步骤执行完后,直接进入业务割接阶段。
过滤配置
通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。
SMN消息发送配置
选择是否使用SMN消息通知功能,该功能可以通知您迁移任务的结果。
- 不勾选,不接收SMN消息。
- 勾选,接收SMN消息。选择SMN主题,会向该主题的订阅者发送消息;选择消息发送语言;选择发送消息的触发条件,支持同时勾选。
- 迁移参数配置完成后,单击“下一步”按钮,进入迁移集群配置页面。
- 完成阶段一:迁移资源配置到阶段三:迁移集群配置的操作后,在“配置确认”页面,仔细检查配置和迁移配置,确保完全符合您的实际需求。如果需要修改配置,单击“上一步”,返回对应阶段进行修改。
- 在“配置确认”页面,确认配置和迁移配置无误,并确保所有配额满足要求后,单击“配置完成”按钮,弹出“启动迁移任务”窗口。此时迁移任务已创建成功,请选择是否立即启动迁移。
- 立即启动:如果您希望立即开始迁移,则单击“确认”按钮,启动迁移任务。
- 暂不启动:如果您希望仅保存迁移任务配置暂不启动迁移,则单击“取消”按钮,此时迁移任务状态为“待启动”,并未开始迁移。后续在迁移任务列表中,单击“任务状态”列的“启动”按钮,可以手动启动迁移。
- (可选)添加阶段/步骤。
在迁移任务标准模板的迁移阶段或步骤中,支持手动添加卡点,以实现对迁移过程的手动控制。详细介绍和操作方法,请参考添加阶段/步骤。
步骤四:跟踪迁移任务
- 查看资源迁移信息:单击资源名称,右侧弹出“资源迁移详情”窗口,可以查看该资源的迁移“基本信息”,“运行状态”和“资源迁移进度”等信息。
- 步骤确认:当资源的运行步骤到达需要手动确认的步骤时,单击对应资源“迁移状态”列或“操作”列的“确认”按钮,迁移任务才会继续进行后续迁移步骤。
迁移任务包含的迁移阶段和步骤的详细信息,可以在“任务详情”页面的右上角单击“查看任务模板”进行查看。
重新配置任务
仅支持对任务状态为“待启动”、“已暂停”、“删除失败”、“成功”的任务进行重新配置。重新配置任务会将当前任务状态重置为“配置中”,同时任务内所有已迁移的资源进度和数据将被清除,不可恢复。
- 在迁移任务列表,单击迁移任务“操作”列的,弹出“重新配置”窗口。
- 确认要重新配置该任务后,输入“YES”,单击“确定”按钮。
- 当任务状态变为“配置中”后,单击“配置”按钮,即可进入任务配置页面重新调整配置。
删除迁移任务中的资源
在“迁移任务详情”页面,您可以删除处于“失败”、“暂停”和“已完成”状态的资源。如果迁移任务中的所有资源均被删除,该迁移任务也将被同步删除。
- 在迁移任务列表,单击迁移任务名称,进入“迁移任务详情”页面。
- 在迁移资源列表,勾选需要删除的资源,单击列表上方的“批量删除”按钮,右侧弹出“删除资源”窗口。
- 确认所选的资源均可以被删除后,输入“DELETE”,单击“确定”按钮,完成删除。
如果因为迁移任务与关联服务(如 SMS、OMS、OBS)连接断开导致资源删除失败,可以勾选“是否强制删除”,强制删除仅能保证清除MgC服务中的资源数据,无法保证同步清理关联服务中已生成的任务与资源。执行强制删除后,请务必前往相关服务确认并手动删除对应资源,防止有残留数据。