文件存储迁移(独享集群)
什么是文件存储迁移(独享集群)
文件存储迁移(独享集群)是提供独立专享迁移集群以及迁移专线的配置功能,支持多种云厂商的NAS迁移,提供高效全面的存储迁移服务。使用独享集群会产生一定费用,详细费用说明请参考迁移集群费用说明。
约束与限制
关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些?
风险提示
在创建迁移任务时,对于源端和目的端的同名对象,我们提供了四种覆盖策略:对象大小与最后修改时间覆盖、不覆盖、直接覆盖和CRC64对比覆盖。选择“不覆盖”策略进行数据迁移时,如果迁移任务因错误中断后重启或从暂停状态恢复,可能会出现部分数据未完全迁移,但任务显示 “成功” 的情况。影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。
操作流程
文件存储迁移的完整操作流程,请参见表1。
准备工作
在创建主机跨区域迁移任务之前,请参照表2提前完成准备工作。
|
事项 |
方法和要求 |
|---|---|
|
账号和权限准备 |
|
|
创建应用迁移项目 |
创建独立的迁移项目,将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。具体操作,请参见创建应用迁移项目。 |
|
创建迁移集群 |
迁移集群是专为存储工作流提供协作中的核心组件,通过集群可以创建和管理迁移节点、列举节点,部署和升级迁移插件,确保存储工作流顺利运行。具体操作请参见创建迁移集群。 |
步骤一:配置迁移任务
- 在左侧导航栏选择,进入“文件存储迁移”页面。
- 单击“创建迁移任务”按钮,进入“创建迁移任务”页面。
- 根据表3,配置基础信息参数。
表3 基础信息参数说明 参数
说明
名称
用户自定义。只支持输入英文、数字、中文、中划线、下划线以及小数点,必须以中文、英文或者数字开头,且不能以小数点开头或结尾。
区域
下拉菜单中选择目的端所在区域。
描述
用户自定义。字符长度限制255,只支持输入英文、数字、中文、中划线、下划线、逗号、句号、顿号、空格以及小数点,且不能以小数点、中划线或下划线开头。
集群
选择用于迁移的集群,集群中包含master节点、迁移节点和列举节点。如果没有可用集群,可以新建集群。
说明:master节点为系统默认创建,无需配置。
- 根据表4、表5,配置源端、目的端信息。
表4 源端信息参数说明 参数
说明
备注
数据站点类型
-
文件存储服务地址
输入源端文件系统的挂载地址,格式为:IP地址+:/或IP地址+:/ xxx,例如:192.1.1.1:/或192.1.1.1:/0001
-
路径
输入待迁移文件路径,格式为:/文件夹。
用户名
输入具有访问源端文件系统所有文件权限的用户名,例如:administrator。
数据站点类型选择NAS_SMB时填写。
密码
输入用户名对应的密码。
Windows上的域
输入对应的域名。
说明:只需输入.com之前的内容,例如:域名为test.com,则输入test。
表5 目的端信息参数说明 参数
说明
备注
数据站点类型
根据源端存储类型,选择华为云对应的存储类型。
-
凭证
单击下拉选择凭证。如未提前添加凭证,请单击“新增凭证”,填写凭证名称、选择认证方式、输入AK、SK,单击“校验并保存”,完成添加。
数据站点类型选择华为云OBS时填写。
桶
选择目的端OBS桶。
说明:桶存储类别只支持标准存储和低频访问存储。
桶类型
根据桶的实际类型选择。桶类型可以通过查看桶的基本信息获取。
对象存储终端地址
输入目的端OBS桶所在区域的终端节点(Endpoint)信息。例如:目的端桶所在区域为华北-北京四,则输入“obs.cn-north-4.myhuaweicloud.com”。
说明:可在OBS桶的基本信息查看。
指定前缀
将对象迁移到指定前缀,例如:源端对象路径为/A/B/C.txt,目的端前缀配置为/D,迁移后目的端对象路径为/D/A/B/C.txt。详细介绍请参考
设置“保存到指定前缀”参数中的功能介绍。
文件存储服务地址
输入目的端文件系统的挂载地址。挂载地址可以在文件系统列表页面,单击挂载地址后面的
图标复制获取。数据站点类型选择NAS_SMB/NAS_NFS_V3_MOUNT时填写。
路径
输入目的端接收文件的路径,格式为:/文件夹。
用户名
输入具有访问目的端文件系统所有文件权限的用户名,例如:administrator。
数据站点类型选择NAS_SMB时填写。
密码
输入用户名对应的密码。
Windows上的域
输入对应的域名。
说明:只需输入.com之前的内容,例如:域名为test.com,则输入test。
- 根据表6,进行迁移配置。
表6 迁移配置参数说明 参数
子参数
说明
迁移方式
全量迁移
迁移源端桶/文件夹内的全部数据。
列表迁移
通过列表文件过滤迁移,只迁移列表文件中的对象。
在“列表路径”输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下:
- 目的端为OBS
- 对象列表文件大小不能超过30MB。
- 对象列表文件类型必须为.txt类型,并且元数据ContentType只能为text/plain。
- 对象列表文件必须是UTF-8无BOM格式编码格式。
- 对象列表文件每行只能包含一个对象名称,且对象名称使用URL Encode编码。
- 对象列表文件行长度不超过16KB,否则迁移失败。
- 对象列表文件元数据中不能设置ContentEncoding,否则迁移失败。
- 对象列表文件行数不超过10,000行。
- 目的端为NAS
- 对象列表文件大小不能超过30MB。
- 对象列表文件类型必须为.txt类型。
- 对象列表文件必须是UTF-8无BOM格式编码格式。
- 对象列表文件每行只能包含一个对象名称,且对象名称使用URL Encode编码。
- 对象列表文件行长度不超过16KB,否则迁移失败。
- 对象列表文件行数不超过10,000行。
注意:前缀迁移
仅支持云平台数据类型。
在“前缀路径”输入对象名称或者名称前缀,则只迁移与输入对象名称或名称前缀一致的对象。
须知:- 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀。
- 多个前缀之间用英文逗号分隔。
并发子任务数
-
默认10,支持用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。
同名覆盖方式
不覆盖
对于源端和目的端存在的同名文件,跳过源端文件,保留目的端文件。
警告:- 首次迁移时选择“不覆盖”,不会迁移源端中父文件夹的属性到目的端,可能会造成文件夹属性不完整。为规避这一风险,首次迁移时请谨慎使用“不覆盖”策略。
- 选择“不覆盖”策略进行数据迁移时,如果迁移任务因错误中断后重启或从暂停状态恢复,可能会造成部分数据未完全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。
直接覆盖
对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。
对象大小与最后修改时间覆盖
- 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过;
- 对于文件夹迁移:当文件迁移完成后再比对文件夹大写、时间和权限,如果文件夹大小不同/时间不相同/权限不相同,则源端覆盖目的端文件夹;
说明:
对于空文件夹,覆盖策略与文件相同。
CRC64对比覆盖
迁移前,对于源端和目的端存在的同名对象,对比源端和目的端对象元数据中的CRC64值,相同则跳过,不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间对比覆盖策略执行。说明:- 目前仅支持华为云、阿里云、腾讯云。
- 目的端OBS桶需开启CRC64特性白名单。
一致性校验
对象大小与最后修改时间校验
默认配置,通过对比源端和目的端对象大小与最后修改时间,判断迁移后数据是否完整。
CRC64校验
通过对比源端和目的端对象元数据中CRC64值,校验数据一致性。当源端数据或目的端数据未含CRC64,OMS会生成CRC64值。注意:CRC64校验可能会产生额外的外网流量费用和请求费用。详见一致性校验说明。说明:- 目前仅支持NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL。
- 目的端OBS桶需开启CRC64特性白名单。
迁移元数据
-
选择是否迁移元数据。
- 勾选,则迁移源端对象元数据。
- 不勾选时,仅迁移Content-Type和Content-Encoding元数据。如果源端存储服务提供商未提供该元数据(如优刻得未提供Content-Encoding),则该元数据将不会被迁移。
清理集群
-
选择工作流是否创建清理集群步骤。
- 勾选,迁移工作流将自动创建清理集群步骤,您还可以继续配置是否删除NAT网关、安全组、VPCEP服务等。
- 不勾选,迁移工作流不创建清理集群步骤,工作流创建30天后系统会自动清除集群。
- 目的端为OBS
- (可选)根据表7,配置高级选项。
表7 高级选项参数说明 参数
说明
目的端存储类型
选择迁移到华为云OBS后,对象的存储类型。存储策略说明请参见存储类型介绍。
说明:归档和深度归档存储类别不支持CRC64校验。即使一致性校验策略选择为CRC64校验,系统也会自动采用对象大小与最后修改时间的校验策略来执行一致性校验。
KMS加密
仅目的端选择华为云OBS时支持配置。
- 不勾选,迁移后对象状态与目的端桶级服务端加密状态保持一致。
- 勾选,所有对象在迁移到OBS桶后都将被加密存储。
说明:- 使用KMS服务端加密可能会降低迁移速率10%左右。
- 目的端桶所在区域支持KMS加密时,此参数才可用。
解冻归档数据
- 不勾选:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。
- 勾选:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。
说明:在数据迁移的列举阶段,系统会对列举出的所有数据发起取回操作,源端云服务商会收取相应的API调用费用和存储费用。为了避免产生多余的解冻费用,建议您优先在源端手动操作解冻后再开始迁移。
过滤配置
通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。
CDN迁移支持
当默认域名不能满足您的迁移需求,比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。
仅源端为阿里云OSS、腾讯云COS时支持配置。如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。
SMN消息发送配置
选择是否使用SMN消息通知功能,该功能可以通知您迁移任务的结果。
- 不勾选,不接收SMN消息。
- 勾选,接收SMN消息。选择SMN主题,会向该主题的订阅者发送消息;选择消息发送语言;选择发送消息的触发条件,支持同时勾选。
流量控制
设置迁移任务在指定时段的最大流量带宽。
定时迁移
设置迁移任务在指定时间内自动迁移。
步骤二:确认信息
- 迁移任务配置完成后,单击“下一步:确认信息”按钮,进入确认信息页面。
- 确认配置信息无误后,单击“确认创建迁移任务”,弹出启动迁移任务窗口,此时工作流已创建完成。
- 如果您希望立即开始迁移,则单击“确认”按钮,立即运行工作流。
- 如果您需要在标准工作流中添加阶段/步骤,则单击“取消”,此时迁移工作流状态为“待启动”,并未开始迁移。确定工作流步骤后,单击“启动”按钮,开始迁移。
步骤三:跟踪迁移任务
- 查看资源迁移详情:单击资源名称,右侧弹出“资源迁移详情”窗口,可以查看该资源的迁移“基本信息”,“运行状态”和“资源迁移进度”等信息。还可以进行如下操作:
操作
步骤
更换集群
只有任务状态(即工作流状态)为“已暂停”时,可以进行“更换集群”操作。仅支持健康状态的集群相互切换。
- 在基础信息区域,单击迁移集群名称后的“更换”。
- 在下拉列表中选择新集群,单击“确认”,更换集群后,系统开始自动运行。
修改定时迁移
- 在基础信息区域,单击定时迁移下的“修改”。
- 设置开始时间和结束时间,单击“确认”。
修改并发子任务数
- 在迁移进度区域,单击期望并发子任务数上方的“修改”,配置期望并发的子任务数。配置要求:配置的数目不能超过可用迁移节点数x10。例如,可用的迁移节点数为2,则配置数目需要≤20。
- 单击“确认”,完成并发子任务数修改。
添加迁移限速规则
- 在迁移速度区域,单击“添加”按钮,可以增加一条限速规则,用于限制该资源在某个时间段内的迁移速度。
- 设置完成后,单击“保存”,完成添加。
获取迁移失败/跳过/成功资源列表文件
在文件统计区域,可以查看存放迁移失败/跳过/成功的资源列表文件路径。单击路径,可以进入存放文件的OBS桶,获取对应列表文件。
查看迁移流量统计
在流程统计区域,可以查看该资源近1小时、近6小时、近24小时、整个周期迁移流量使用情况。
- 步骤确认:当资源的运行步骤到达需要手动确认的步骤时,单击对应资源“迁移状态”列或“操作”列的“确认”按钮,迁移任务才会继续进行后续迁移步骤。
查看任务配置
- 设置流量控制规则:您可以添加、编辑或删除流量控制规则,以确保集群内的流量按照您的需求进行管理。
- 节点管理:您可以根据实际需求,添加/删除迁移节点和列举节点,也可以对现有节点进行插件升级。
删除迁移任务中的资源
在“迁移任务详情”页面,您可以删除处于“失败”、“暂停”和“已完成”状态的资源。如果迁移任务中的所有资源均被删除,该迁移任务也将被同步删除。
- 在迁移任务列表,单击迁移任务名称,进入“迁移任务详情”页面。
- 在迁移资源列表,勾选需要删除的资源,单击列表上方的“批量删除”按钮,右侧弹出“删除资源”窗口。
- 确认所选的资源均可以被删除后,输入“DELETE”,单击“确定”按钮,完成删除。
如果因为迁移任务与关联服务(如 SMS、OMS、OBS)连接断开导致资源删除失败,可以勾选“是否强制删除”,强制删除仅能保证清除MgC服务中的资源数据,无法保证同步清理关联服务中已生成的任务与资源。执行强制删除后,请务必前往相关服务确认并手动删除对应资源,防止有残留数据。
过滤策略说明
过滤策略参数填写通配符规则说明和约束说明参见表8。
|
参数 |
说明 |
填写规则 |
约束说明 |
|---|---|---|---|
|
黑名单 |
命中黑名单规则,则文件不进行迁移/一致性对比。支持精确匹配和模糊匹配。 |
|
|
|
白名单 |
|
||
|
时间段 |
配置时间段,根据配置,迁移最后修改时间在配置时间段内的文件或者文件夹。 开始时间和结束时间可以配置为空,为空时表示不限制,时间可以精确到分钟。 |
||
过滤策略场景规则示例以及举例见下表。
例如第一级目录为“test”,那么:
- NAS的路径格式为:“/test”。
- OBS的路径格式为:“test”。
|
场景 |
NAS规则示例 |
OBS规则示例 |
说明 |
|---|---|---|---|
|
文件路径以xx结尾(特定后缀) |
/xx/**xx |
xx/**xx |
xx可以是包含*和?的表达式 |
|
根路径下第一层xx开始的文件 |
/xx*
|
/xx*
|
|
|
文件路径以xx开始 |
/xx** /xx/** |
xx** xx/** |
|
|
文件名包含xx |
**xx* |
**xx* |
|
|
文件路径包含xx |
**xx** |
**xx** |
|
|
文件路径以xx开始,以yy结尾 |
/xx**yy |
xx**yy |
xx,yy可以是包含*和?的表达式 |
|
文件路径以xx,yy结尾(特定后缀) |
**{xx,yy} |
**{xx,yy} |
|
|
文件名包含xx,yy |
**{xx,yy}* |
**{xx,yy}* |
|
|
文件路径包含xx,yy |
**{xx,yy}** |
**{xx,yy}** |
一致性校验说明
MgC调用OMS的一致性校验功能,支持对象大小与最后修改时间校验和CRC64校验。不同的场景,使用的数据校验方式不同,具体说明如下:
|
校验方式 |
特点 |
场景 |
执行过程 |
影响说明 |
|---|---|---|---|---|
|
对象大小与最后修改时间 |
仅校验大小和修改时间,不校验内容。 |
适用于各种场景。 |
完成迁移后,对比源端和目的端对象的大小和修改时间。 |
无 |
|
CRC64校验 |
基于ECMA-182算法对迁移数据实施校验,可精准检测数据迁移过程中出现的不一致问题。 |
源端和目的端均存在CRC64值。 |
对象迁移完成后,分别调用源端和目的端接口获取该对象的CRC64值,进行比对。 |
获取对象CRC64值可能产生云服务接口请求费用和公网流量费用。 |
|
源端无CRC64值,目的端存在CRC64值。 |
源端对象的CRC64值由OMS在迁移过程中同步计算;对象迁移完成后,调用目的端接口获取该对象的CRC64值,进行对比。 |
获取对象CRC64值可能产生云服务接口请求费用和公网流量费用。 |
||
|
源端存在CRC64值,目的端无CRC64值。 |
对象迁移完成后,调用源端获取该对象的CRC64值,目的端对象的CRC64值由OMS读取目的端对象计算,进行比对。 |
|
||
|
源端和目的端均无CRC64值。 |
源端对象的CRC64值由OMS在迁移过程中同步计算;对象迁移完成后,目的端对象的CRC64值由OMS读取目的端对象计算,进行比对。 |
OMS会额外拉取目的端流进行计算,此场景下执行校验的额外用时可能与迁移用时相当。 |