# 文件存储批量迁移 本文介绍如何利用迁移中心（MgC）的批量文件存储迁移功能，高效完成文件存储的批量迁移工作。 - **源端支持的类型**：NAS_NFS_V3_MOUNT（非标准NFSV3协议的文件系统）、NAS_NFS_V3_PROTOCOL（标准NFSV3协议的文件系统）、NAS_GFS（谷歌云文件系统）。 - **目的端支持的类型**：NAS_NFS_V3_MOUNT（非标准NFSV3协议的文件系统）。 #### 约束与限制 存储迁移的约束与限制同样适用于文件存储批量迁移，详情请查看[存储迁移的约束与限制有哪些？](https://support.huaweicloud.com/mgc_faq/mgc_04_9002.html) #### 风险提示 在创建工作流时，对于源端和目的端的同名对象，我们提供了三种覆盖策略："不覆盖"、"直接覆盖"和"对象大小与最后修改时间覆盖"。选择"不覆盖"策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会造成部分数据未完全迁移，而任务显示成功的现象，影响数据的完整性。为规避这一风险，**请谨慎使用"不覆盖"策略**。 #### 准备工作 在创建批量对象存储迁移任务之前，请参照[表1]提前完成准备工作。 表1准备事项的方法和要求 | 事项 | 方法和要求 | |:---|:---| | 账号和权限准备 | 1. 注册华为云账号并完成实名认证。**如果您已注册华为云账号并进行实名认证，请忽略此步骤** 。 1. 访问[华为云](https://www.huaweicloud.com/)，单击"**注册**"。 2. 根据提示信息完成注册开通，详细操作请参见[注册华为云账号](https://support.huaweicloud.com/usermanual-account/account_id_001.html)。 3. 完成个人或企业账号实名认证。 - 个人账号：[实名认证](https://support.huaweicloud.com/usermanual-account/zh-cn_topic_0077914254.html) - 企业账号：[实名认证](https://support.huaweicloud.com/usermanual-account/zh-cn_topic_0077914253.html) 2. 创建IAM用户并授权。**如果您使用华为云账号（管理员账号）进行迁移，则跳过该步骤。** 1. 创建IAM用户。创建方法请参考[创建IAM用户](https://support.huaweicloud.com/usermanual-iam/iam_02_0001.html)或[创建IAM用户（新版）](https://support.huaweicloud.com/usermanual-iam5/iam_01_1144.html)。 2. 参考[基于角色与策略的IAM用户自定义权限](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0145.html)或[基于身份策略的IAM用户自定义权限（新版）](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3115.html)中的**"存储迁移"** 创建相应的自定义策略并为IAM用户授权。授权方法请参考[给IAM用户授权](https://support.huaweicloud.com/usermanual-iam/iam_01_0652.html)或[给IAM用户授权（新版）](https://support.huaweicloud.com/usermanual-iam5/iam_01_1145.html)。 3. （可选）获取目的端账号的AK/SK。 目的端为OBS桶时需要使用目的端账号的AK/SK进行鉴权认证。获取目的端账号AK/SK的方法请参见[新增访问密钥](https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html)或[新增访问密钥（新版）](https://support.huaweicloud.com/usermanual-ca/ca_05_0003.html)。 | | 创建应用迁移项目 | 创建独立的迁移项目，将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。具体操作，请参见[创建应用迁移项目](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0006.html#mgc_03_0006__section182421717526)。 | | 创建弹性文件系统 | 在目的端创建相应的弹性文件系统，用于迁移后的数据存储和管理，方法请参见[创建弹性文件系统](https://support.huaweicloud.com/usermanual-sfs/zh-cn_topic_0034428727.html)或[创建高性能文件系统](https://support.huaweicloud.com/usermanual-sfsturbo/sfsturbo_01_0359.html)。 | #### 步骤一：创建迁移集群 1. 登录[迁移中心管理控制台](https://console.huaweicloud.com/mgc/?#/guide)。在左侧导航栏的项目下拉列表中选择创建的[应用迁移项目](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0006.html)。 2. 在左侧导航栏选择"**其他 \> 迁移集群管理** "，进入**迁移集群**管理页面。 3. 单击页面右上角的"**创建集群** "按钮，进入**创建集群**页面。 4. 根据[表2]，配置参数。 表2集群参数配置说明 | 区域 | 参数 | 配置说明 | 限制说明 | |:---|:---|:---|:---| | 基础配置 | 集群名称 | 自定义名称。 | 同一账户下集群名称不可重名。 | | 基础配置 | 区域 | 选择创建集群的区域。 | 与目的端区域保持一致。 | | 基础配置 | 集群类型 | 选择集群使用场景。 | 当前仅支持存储迁移场景。 | | 节点配置 | 密钥对 | 用于远程登录集群的弹性云服务器时进行身份认证。需要提前创建账号密钥对，方法请参考[创建密钥对](https://support.huaweicloud.com/usermanual-dew/dew_01_0034.html)。 | - | | 节点配置 | 企业项目 | 该参数针对企业用户使用。可以将ECS加入已启用的企业项目。如果当前账号无可用企业项目，则默认创建并使用"default"企业项目。 企业项目管理提供了一种按企业项目管理云资源的方式，帮助您实现以企业项目为基本单元的资源及人员的统一管理，默认项目为default。 关于创建和管理企业项目的详情，请参见[《企业管理用户指南》](https://support.huaweicloud.com/usermanual-em/zh-cn_topic_0131965280.html)。 | - | | 节点配置 | 迁移管理节点ECS规格 | 用于管理迁移节点和列举节点。 | 节点数量为1，无法修改。 | | 节点配置 | 迁移节点ECS规格 | 迁移节点用于执行迁移和对比的动作，推荐规格8U16G。 | - 规格选定后，后续无法更改。 - 设置的节点数量需要同时满足如下要求： - 迁移节点数+列举节点数+1 ≤100 - 迁移节点数+列举节点数+1 ≤子网可用IP数 | | 节点配置 | 列举节点ECS规格 | 列举节点用于执行列举动作，推荐规格8U16G。 | - 规格选定后，后续无法更改。 - 设置的节点数量需要同时满足如下要求： - 迁移节点数+列举节点数+1 ≤100 - 迁移节点数+列举节点数+1 ≤子网可用IP数 | | 网络配置 | 虚拟私有云 | 在下拉列表中选择虚拟私有云。 | - | | 网络配置 | 子网 | 选择与虚拟私有云网段相同且满足可用IP数的子网。 | 子网的可用IP数≥迁移节点数+列举节点数+1。 | | 网络配置 | 模式选择 | - 公网：使用公网迁移，并选择公网网关。如果没有可用网关，选择"新建网关"，选择网关规格和EIP（EIP最多支持同时勾选20个）。 - 内网：使用内网迁移，适用于同一区域内的迁移场景。 - 专线：使用专线迁移，通过专线直接访问源端数据。搭建云专线的方法可参考[云专线最佳实践](https://support.huaweicloud.com/bestpractice-dc/dc_05_1000.html)。 | - | | - | 启用LTS服务 | 启用：记录存储迁移过程中的日志，便于查看和定位迁移中出现的问题。 | - | 5. 参数配置完成后，单击"**确认** "开始创建集群，在迁移集群列表中查看集群状态，状态详情参见[集群状态说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0097.html)。如果集群状态为创建失败，将鼠标移动到"创建失败"上，可以查看失败原因。在解决失败原因后，可以通过操作列的"更多 \> 重试"功能，重新创建集群。 #### 步骤二：创建迁移任务 1. 在左侧导航栏选择"存储迁移 \> 批量存储迁移"，进入"批量存储迁移"页面。 2. 单击"文件存储 \> 创建迁移任务"按钮，右侧弹出"创建迁移任务"窗口。 3. 系统会默认创建任务名称，您也可以自定义任务名称。输入任务相关描述（可选）。 4. 单击"确认"，文件存储批量迁移任务创建完成并进入任务配置页面的"配置迁移资源"阶段。 #### 步骤三：配置迁移任务 配置迁移任务包括四个阶段：迁移资源配置、迁移参数配置、迁移集群配置和配置确认。 - [阶段一：迁移资源配置] 添加资源支持以下两种方式： - 手动添加： 1. 在"迁移资源配置"页面的"目的端区域"下拉框中，选择目的端文件存储所在区域。同一迁移任务下的目的端文件存储必须处于同一区域。 2. 单击添加资源区域的"添加"按钮，在下方的列表中会新增一行源端文件存储配置信息。 3. 根据[表3]，配置源端文件存储信息。 表3源端文件存储参数配置说明 | 参数 | 说明 | 须知 | |:---|:---|:---| | 源端存储类型 | 支持的源端存储类型包括：NAS_GFS、NAS_NFS_V3_PROTOCOL、NAS_NFS_V3_MOUNT、NAS_SMB请根据实际情况选择。 | NAS_GFS：谷歌云文件系统。 NAS_NFS_V3_PROTOCOL：支持标准NFSV3协议的文件系统选用。 NAS_NFS_V3_MOUNT：支持非标准NFSV3协议的文件系统选用。 NAS_SMB：SMB/CIFS文件系统。 | | 凭证 | 单击下拉选择凭证。如未提前添加凭证，请单击"**新增凭证** "，填写凭证名称、选择认证方式、输入用户名、密码、域。单击"**确认**"，完成添加。 - 用户名：输入具有访问源端文件系统所有文件权限的用户名，例如：administrator。 - 密码：输入用户名对应的密码。 - （可选）域：打开控制台，执行以下命令获取域名。 ``` wmic computersystem get domain ``` 说明： - 只需输入.com之前的内容，例如：域名为test.com，则输入test。 - 如果域信息返回是"WORKGROUP"，可以为空 | 支持的源端存储类型选择**NAS** _**SMB**时选择。 | | 源端文件存储服务地址 | 输入源端文件系统的挂载地址。 - 存储类型为NAS_GFS时，文件存储服务地址可以填写主机名、域名、可选的子域、灵活的端口号和路径表示。 - 存储类型为NAS_NFS_V3_PROTOCOL和NAS_NFS_V3_MOUNT时，格式为： - IP地址:/ - IP地址:/ xxx - 域名:/ - 域名:/ xxx | 无论是全量迁移还是列表迁移，源端文件存储服务地址+路径的组合或源端文件存储服务地址+列表路径的组合都必须是唯一的不能重复，都遵循前缀匹配规则。 例如，已有组合是地址192.168.0.1:/a和路径/abc/a，那么添加或修改另一个地址为192.168.0.1:/a和路径/abc时，会因重复而报错。要覆盖已有路径，需要先删除旧的地址和路径组合。 | | 源端文件路径 | 输入待迁移文件路径，格式为：/文件夹。 | 列表迁移时，路径填写为/即可。 | | 目的端存储类型 | 目前支持NAS_NFS_V3_MOUNT（非标准NFSV3协议的文件系统）。 | - | | 目的端文件存储服务地址 | 请先在目的端区域创建弹性文件存储实例。格式为IP地址或域名+:/地址，例如：192.1.1.1:/0001。 - 产品类型选择通用文件系统时，输入目的端文件系统的挂载地址。挂载地址可以在文件系统列表页面，单击**挂载地址** 后面的![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002532700678.png)图标复制获取。 - 产品类型选择SFS Turbo时，输入目的端文件系统的共享路径。共享路径可以在SFS Turbo文件系统列表页面，单击**共享路径** 后面的![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002563820527.png)图标复制获取。 | 文件存储服务地址+路径的组合可以重复。 | | 目的端文件路径 | 输入目的端接收文件的路径，格式为：/文件夹。 | - | 4. 迁移资源配置设置完成后单击操作列"保存"，也支持多条设置完后单击"全部保存"。保存之后支持批量修改。设置完成后单击"下一步"，进行迁移参数配置。 - 模板批量导入： 1. 在"迁移资源配置"页面的"目的端区域"下拉框中，选择目的端文件存储所在区域。同一迁移任务下的目的端文件存储必须处于同一区域。 2. 单击添加资源区域的"导入"按钮，弹出导入文件存储迁移配置弹窗。 3. 单击"下载模板"按钮，下载导入模板。根据[表4]，配置模板内文件存储页签信息并保存Excel。 表4配置明细说明 | 参数 | 说明 | 须知 | |:---|:---|:---| | 源端存储类型 | 支持的源端存储类型包括：NAS_GFS、NAS_NFS_V3_PROTOCOL、NAS_NFS_V3_MOUNT、NAS_SMB请根据实际情况选择。 | NAS_GFS：谷歌云文件系统。 NAS_NFS_V3_PROTOCOL：支持标准NFSV3协议的文件系统选用。 NAS_NFS_V3_MOUNT：支持非标准NFSV3协议的文件系统选用。 NAS_SMB：SMB/CIFS文件系统。 | | 源端凭证名称 | 选填。输入源端凭证名称。 | 仅当源端存储类型选择NAS_SMB且已在MgC上配置了连接源端存储所必需的凭证时才需要配置相应的凭证名称。 | | 源端文件存储服务地址 | 输入源端文件系统的挂载地址。 - 存储类型为NAS_GFS时，文件存储服务地址可以填写主机名、域名、可选的子域、灵活的端口号和路径表示。 - 存储类型为NAS_NFS_V3_PROTOCOL和NAS_NFS_V3_MOUNT时，格式为： - IP地址:/ - IP地址:/ xxx - 域名:/ - 域名:/ xxx | 无论是全量迁移还是列表迁移，源端文件存储服务地址+路径的组合或源端文件存储服务地址+列表路径的组合都必须是唯一的不能重复，都遵循前缀匹配规则。 例如，已有组合是地址192.168.0.1:/a和路径/abc/a，那么添加或修改另一个地址为192.168.0.1:/a和路径/abc时，会因重复而报错。要覆盖已有路径，需要先删除旧的地址和路径组合。 | | 源端文件路径 | 输入待迁移文件路径，格式为：/文件夹。 | 列表迁移时，路径填写为/即可。 | | 目的端存储类型 | 目前支持NAS_NFS_V3_MOUNT（非标准NFSV3协议的文件系统）、NAS_SMB（SMB/CIFS文件系统）。 | - | | 目的端凭证名称 | 选填。输入目的端凭证名称。 | 仅当目的端存储类型选择NAS_SMB且已在MgC上配置了连接目的端存储所必需的凭证时才需要配置相应的凭证名称。 | | 目的端文件存储服务地址 | 请先在目的端区域创建弹性文件存储实例。格式为IP地址或域名+:/地址，例如：192.1.1.1:/0001。 - 产品类型选择通用文件系统时，输入目的端文件系统的挂载地址。挂载地址可以在文件系统列表页面，单击**挂载地址** 后面的![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002532860624.png)图标复制获取。 - 产品类型选择SFS Turbo时，输入目的端文件系统的共享路径。共享路径可以在SFS Turbo文件系统列表页面，单击**共享路径** 后面的![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002563740559.png)图标复制获取。 | 文件存储服务地址+路径的组合可以重复。 | | 目的端文件路径 | 输入目的端接收文件的路径，格式为：/文件夹。 | - | | 迁移方式 | 迁移方式：DEFAULT、LIST。 | DEFAULT：全量迁移，迁移源端文件存储服务地址+路径内的全部数据。 LIST：列表迁移，通过列表文件过滤迁移，只迁移列表文件中的对象。 | | 迁移范围 | 迁移方式选择列表迁移时，填写列表文件所在路径。 | 迁移方式选择全量迁移时，无需填写。 | 4. 单击导入底部的"前往OBS存放文件"，跳转到对象存储服务OBS的桶列表页面。 5. 选择需要存放的配置文件的桶，将Excel文件上传到该桶中。上传请查看[OBS上传使用方式](https://support.huaweicloud.com/usermanual-obs/obs_03_1002.html#section3)。 6. 上传成功后，返回MgC控制台，在导入文件存储迁移配置弹框的下拉列表中，选择存放在OBS桶中的目的端配置Excel文件。 7. 单击确认，页面新增文件存储信息。支持批量修改。完成后单击"下一步"，进行迁移参数配置。 - [阶段二：迁移参数配置] 1. 在"迁移方式配置"区域，对资源进行修改或移除。选择迁移方式： - 全量迁移：迁移源端文件存储服务地址+路径内的全部数据。 - 列表迁移：通过列表文件过滤迁移，只迁移列表文件中的对象。 2. 在"迁移任务参数配置"区域，根据[表5]，进行迁移配置。 表5迁移配置参数说明 | 参数 | 子参数 | 说明 | |:---|:---|:---| | 迁移元数据 | - | 选择是否迁移元数据。 - 勾选，则迁移源端对象元数据。 - 不勾选时，仅迁移Content-Type和Content-Encoding元数据。如果源端存储服务提供商未提供该元数据（如优刻得未提供Content-Encoding），则该元数据将不会被迁移。 | | 并发子任务数 | - | 用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。 | | 同名覆盖方式 说明： NAS文件存储系统不允许存在任何形式的同名文件/文件夹（不区分大小写），因此源端的文件与目的端的文件夹重名、源端的文件夹与目的端文件重名的情况，均会迁移失败。 | 不覆盖 | 对于源端和目的端存在的同名文件，跳过源端文件，保留目的端文件。 警告： - 首次迁移时选择"不覆盖"，不会迁移源端中父文件夹的属性到目的端，可能会造成文件夹属性不完整。为规避这一风险，首次迁移时请谨慎使用"不覆盖"策略。 - 选择"不覆盖"策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会造成部分数据未完全迁移，而任务显示成功的现象，影响数据的完整性。为规避这一风险，请谨慎使用"不覆盖"策略。 | | 同名覆盖方式 说明： NAS文件存储系统不允许存在任何形式的同名文件/文件夹（不区分大小写），因此源端的文件与目的端的文件夹重名、源端的文件夹与目的端文件重名的情况，均会迁移失败。 | 直接覆盖 | 对于源端和目的端存在的同名文件，源端文件直接覆盖目的端文件。 | | 同名覆盖方式 说明： NAS文件存储系统不允许存在任何形式的同名文件/文件夹（不区分大小写），因此源端的文件与目的端的文件夹重名、源端的文件夹与目的端文件重名的情况，均会迁移失败。 | 对象大小与最后修改时间覆盖 | - 对于文件迁移：源端和目的端存在的同名文件，保留最后修改时间较新的文件；如果最后修改时间相同，比较文件大小，大小不同则源端覆盖目的端文件；如果最后修改时间和大小都相同，则跳过； - 对于文件夹迁移：当文件迁移完成后再比对文件夹大写、时间和权限，如果文件夹大小不同/时间不相同/权限不相同，则源端覆盖目的端文件夹； 说明： 对于空文件夹，覆盖策略与文件相同。 | | 流量控制 | - | 设置迁移任务在指定时段的最大流量带宽。 - 不勾选，不进行流量控制。 - 勾选，进行流量控制。分别设置"开始时间"、"结束时间"和"限速"数值。 例如：设置开始时间08：00、结束时间12：00、限速为20 MB/s，当迁移任务运行到（08:00\~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。 说明： - 限速的数值范围：1\~1048576 MB/s 。 - 创建多条限速规则时，限速时段不能重叠。 例如：已有一条规则，限速时段是8:00\~12:00，那么7:00\~13:00，7:00\~8:00，9:00\~12:00...有时间重叠的规则，都无法创建成功。 - 开始时间不能晚于等于结束时间。 例如：不能设置时间段为23:00\~次日01:00。 - 最多可以创建5条记录。 - 时区时间以目的端Region的当地时间为准。 | 3. （可选）根据[表6]，配置高级选项。 表6高级选项参数说明 | 参数 | 说明 | |:---|:---| | 割接前增量同步 | - 勾选，会在迁移阶段的业务验证步骤后增加自动执行的"增量迁移"步骤。 - 不勾选，在迁移阶段的业务验证步骤执行完后，直接进入业务割接阶段。 | | 过滤配置 | 通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见[过滤策略说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3603.html#section9)。 | | SMN消息发送配置 | 选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。 - 不勾选，不接收SMN消息。 - 勾选，接收SMN消息。选择SMN主题，会向该主题的订阅者发送消息；选择消息发送语言；选择发送消息的触发条件，支持同时勾选。 | 4. 迁移参数配置完成后，单击"下一步"按钮，进入**迁移集群配置**页面。 - [阶段三：迁移集群配置] 1. 在**绑定迁移集群** 区域，选择需要使用的集群。如果需要对集群进行修改，单击操作列的"前往修改"，并参考[集群管理](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0095.html)进行修改。 2. 迁移集群配置完成后，单击"下一步"按钮，进入**配置确认**页面。 - [阶段四：配置确认] 1. 在"配置确认"页面，仔细检查配置和迁移配置，确保完全符合您的实际需求。如果需要修改配置，单击"上一步"，返回对应阶段进行修改。 2. 在"配置确认"页面，确认配置和迁移配置无误，并确保所有配额满足要求后，单击"配置完成"按钮，弹出"启动迁移任务"窗口。此时迁移任务已创建成功，请选择是否立即启动迁移。 - **立即启动**：如果您希望立即开始迁移，则单击"确认"按钮，启动迁移任务。 - **暂不启动**：如果您希望仅保存迁移任务配置暂不启动迁移，则单击"取消"按钮，此时迁移任务状态为"待启动"，并未开始迁移。后续在迁移任务列表中，单击"任务状态"列的"启动"按钮，可以手动启动迁移。 #### 步骤四：跟踪迁移任务 在迁移任务列表，单击任务名称，进入"任务详情"页面，可以查看该迁移任务的状态，进展以及所包含资源的迁移进度。以下为您可以对任务中的资源进行的相关操作： - **查看资源迁移信息**：单击资源名称，右侧弹出"资源迁移详情"窗口，可以查看该资源的迁移"基本信息"，"运行状态"和"资源迁移进度"等信息。 - **步骤确认** ：当资源的运行步骤到达需要**手动** **确认** 的步骤时，单击对应资源"迁移状态"列或"操作"列的"确认"按钮，迁移任务才会继续进行后续迁移步骤。 ![](https://support.huaweicloud.com/bestpractice-mgc/public_sys-resources/note_3.0-zh-cn.png) 迁移任务包含的迁移阶段和步骤的详细信息，可以在"任务详情"页面的右上角单击"查看任务模板"进行查看。