# 创建文件存储迁移任务 本节介绍文件存储迁移任务的创建方法及参数配置说明。 #### 前提条件 - 已完成[准备工作](https://support.huaweicloud.com/bestpractice-mgc/mgc_05_0032.html)。 - 已[创建集群](https://support.huaweicloud.com/bestpractice-mgc/mgc_05_0033.html)。 - （可选）已[打通SFS 1.0、3.0和集群之间的网络](https://support.huaweicloud.com/bestpractice-mgc/mgc_05_0034.html) #### 步骤一：创建并配置文件存储迁移任务 1. 登录[迁移中心管理控制台](https://console.huaweicloud.com/mgc/?#/guide)。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的[应用迁移项目](https://support.huaweicloud.com/bestpractice-mgc/mgc_05_0032.html#mgc_05_0032__section11106172934417)。 2. 在左侧导航栏选择"存储迁移 \> 文件存储迁移"，进入"文件存储迁移"页面。 3. 单击"创建迁移任务"按钮，进入"创建迁移任务"页面。 4. 根据[表1]，配置基础信息参数。 表1基础信息参数说明 | 参数 | 说明 | |:---|:---| | 名称 | 用户自定义。只支持输入英文、数字、中文、中划线、下划线以及小数点，必须以中文、英文或者数字开头，且不能以小数点开头或结尾。 | | 区域 | 下拉菜单中选择目的端所在区域。 | | 描述 | 用户自定义。字符长度限制255，只支持输入英文、数字、中文、中划线、下划线、逗号、句号、顿号、空格以及小数点，且不能以小数点、中划线或下划线开头。 | | 集群 | 选择[创建的集群](https://support.huaweicloud.com/bestpractice-mgc/mgc_05_0033.html)作为迁移集群。 | 5. 根据[表2]、[表3]，配置源端、目的端信息。 表2源端信息参数说明 | 参数 | 说明 | 备注 | |:---|:---|:---| | 数据站点类型 | 根据实际需求选择，推荐"NAS_NFS_V3_PROTOCOL(标准NFSV3协议的文件系统）"，以便获取更优的列举性能。 | - | | 文件存储服务地址 | 输入源端文件系统的挂载地址，格式为：IP地址+:/或IP地址+:/ xxx，例如：192.1.1.1:/或192.1.1.1:/0001 | - | | 路径 | 输入待迁移文件路径，格式为：/文件夹 | 当输入的是/时，表示迁移整个弹性文件系统。 | 表3目的端信息参数说明 | 参数 | 说明 | 备注 | |:---|:---|:---| | 数据站点类型 | 选择"NAS_NFS_V3_MOUNT（非标准NFSV3协议的文件系统）" | - | | 文件存储服务地址 | 输入目的端文件系统的挂载地址。挂载地址可以在文件系统列表页面，单击**挂载地址** 后面的![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000001928511529.png)图标复制获取。 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000001928472013.png "点击放大") | - | | 路径 | 输入目的端接收文件的路径，格式为：/文件夹。 | 当输入的是/时，表示迁移到目的端的根目录。 | 6. 根据[表4]，进行迁移配置。 表4迁移配置参数说明 | 参数 | 子参数 | 说明 | |:---|:---|:---| | 迁移方式 | 全量迁移 | 迁移源端桶/文件夹内的全部数据。 | | 迁移方式 | 列表迁移 | 通过列表文件过滤迁移，只迁移列表文件中的对象。 在"**列表路径**"输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下： - 目的端为OBS - 对象列表文件大小不能超过30MB。 - 对象列表文件类型必须为.txt类型，并且元数据ContentType只能为text/plain。 - 对象列表文件必须是UTF-8无BOM格式编码格式。 - 对象列表文件每行只能包含一个对象名称，且对象名称使用URL Encode编码。 - 对象列表文件行长度不超过16KB，否则迁移失败。 - 对象列表文件元数据中不能设置ContentEncoding，否则迁移失败。 - 对象列表文件行数不超过10,000行。 - 目的端为NAS - 对象列表文件大小不能超过30MB。 - 对象列表文件类型必须为.txt类型。 - 对象列表文件必须是UTF-8无BOM格式编码格式。 - 对象列表文件每行只能包含一个对象名称，且对象名称使用URL Encode编码。 - 对象列表文件行长度不超过16KB，否则迁移失败。 - 对象列表文件行数不超过10,000行。 注意： 列表迁移源端为NAS时注意事项： - 如果文件存储服务地址是以冒号加斜杠（:/）结尾，请确保在列表文件中的路径是相对于挂载地址的绝对路径。 例如，文件存储服务地址为"192.1.1.1:/"，挂载地址为"/mnt/turbo"，则填写"/mnt/turbo"下的绝对路径。 如果要使用列表迁移的形式迁移"test2.log"文件，则应在列表中填写路径：/mgc/filter_test/test2.log - 如果文件存储服务地址在冒号加斜杠（:/）之后还包含其他路径，配置列表路径单时，除了填写挂载地址下的绝对路径外，还要加上文件存储服务地址:/之后的部分。 例如，文件存储服务地址为"192.1.1.1:/mgc-test"，挂载地址为"/mnt/turbo"，则填写"mgc-test+/mnt/turbo"下的绝对路径。 如果要使用列表迁移的形式迁移迁移"test2"文件，则应在列表中填写路径：/mgc-test/autotest/filter_test/test2。 | | 迁移方式 | 前缀迁移 | 仅支持云平台数据类型。 在"前缀路径"输入对象名称或者名称前缀，则只迁移与输入对象名称或名称前缀一致的对象。 - 输入对象前缀路径时，如果对象文件在源端桶的根目录下，则直接添加前缀；如果对象文件存在目录路径，则需要在对象前缀前添加对象文件所在的目录路径。格式为：文件夹/对象前缀。 - 多个前缀之间用英文逗号分隔。 | | 并发子任务数 | - | 默认5，支持用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。 | | 同名覆盖方式 | 不覆盖 | 对于源端和目的端存在的同名文件，跳过源端文件，保留目的端文件。 警告： - 首次迁移时选择"不覆盖"，不会迁移源端中父文件夹的属性到目的端，可能会造成文件夹属性不完整。为规避这一风险，首次迁移时请谨慎使用"不覆盖"策略。 - 选择"不覆盖"策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会造成部分数据未完全迁移，而任务显示成功的现象，影响数据的完整性。为规避这一风险，请谨慎使用"不覆盖"策略。 | | 同名覆盖方式 | 直接覆盖 | 对于源端和目的端存在的同名文件，源端文件直接覆盖目的端文件。 | | 同名覆盖方式 | 对象大小与最后修改时间覆盖 | - 对于文件迁移：源端和目的端存在的同名文件，保留最后修改时间较新的文件；如果最后修改时间相同，比较文件大小，大小不同则源端覆盖目的端文件；如果最后修改时间和大小都相同，则跳过； - 对于文件夹迁移：当文件迁移完成后再比对文件夹大写、时间和权限，如果文件夹大小不同/时间不相同/权限不相同，则源端覆盖目的端文件夹； 说明： 对于空文件夹，覆盖策略与文件相同。 | | 同名覆盖方式 | CRC64对比覆盖 | 迁移前，对于源端和目的端存在的同名对象，对比源端和目的端对象元数据中的CRC64值，相同则跳过，不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间对比覆盖策略执行。 说明： - 目前仅支持华为云、阿里云、腾讯云。 - 目的端OBS桶需开启CRC64特性白名单。 | | 一致性校验 | 对象大小与最后修改时间校验 | 默认配置，通过对比源端和目的端对象大小与最后修改时间，判断迁移后数据是否完整。 说明： 在迁移过程中，文件内容发生变化，但文件大小与最后更新时间均未改变，迁移至目的端后，可能出现内容与源端不一致的情况。 | | 一致性校验 | CRC64校验 | 通过对比源端和目的端对象元数据中CRC64值，校验数据一致性。当源端数据或目的端数据未含CRC64，OMS会生成CRC64值。注意：CRC64校验可能会产生额外的外网流量费用和请求费用。详见[一致性校验说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3603.html#section10)。 说明： - 目前仅支持NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL。 - 目的端OBS桶需开启CRC64特性白名单。 | | 迁移元数据 | - | 选择是否迁移元数据。 - 勾选，则迁移源端对象元数据。 - 不勾选时，仅迁移Content-Type和Content-Encoding元数据。如果源端存储服务提供商未提供该元数据（如优刻得未提供Content-Encoding），则该元数据将不会被迁移。 | | 清理集群 | - | 选择工作流是否创建清理集群步骤。 - 勾选，迁移工作流将自动创建清理集群步骤，您还可以继续配置是否删除NAT网关、安全组、VPCEP服务等。 - 不勾选，迁移工作流不创建清理集群步骤，工作流创建30天后系统会自动清除集群。 | 7. （可选）根据[表5]，配置高级选项。 表5高级选项参数说明 | 参数 | 说明 | |:---|:---| | 过滤配置 | 通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见[过滤策略说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3603.html#section10)。 | | SMN消息发送配置 | 选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。 - 不勾选，不接收SMN消息。 - 勾选，接收SMN消息。选择SMN主题，会向该主题的订阅者发送消息；选择消息发送语言；选择发送消息的触发条件，支持同时勾选。 | | 流量控制 | 设置迁移任务在指定时段的最大流量带宽。 - 不勾选，不进行流量控制。 - 勾选，进行流量控制。分别设置"开始时间"、"结束时间"和"限速"数值。 例如：设置开始时间08：00、结束时间12：00、限速为20 MB/s，当迁移任务运行到（08:00\~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。 说明： - 限速的数值范围：1\~1048576 MB/s 。 - 最多可以创建5条记录。 - 时区时间以目的端Region的当地时间为准。 | | 定时迁移 | 设置迁移任务在指定时间内迁移。 - 不勾选，手动启动/暂停迁移任务。 - 勾选，设置任务在指定时间范围内进行迁移，指定时间以外则暂停迁移。 例如： - 设置开始时间08：00、结束时间12：00，则迁移任务会在每天早晨08:00至中午12:00该时间段进行迁移。该时间段以外，则迁移任务暂停。 - 设置开始时间12：00、结束时间08：00，则迁移任务会在每天中午12：00至次日早晨08：00该时间段进行迁移。该时间段以外，则迁移任务暂停。 | #### 步骤二：配置确认信息 1. 迁移任务配置完成后，单击"**下一步：确认信息**"按钮，进入确认信息页面。 2. 确认配置信息无误后，单击"**确认创建迁移任务** "，弹出**启动迁移任务** 窗口，此时工作流已创建完成。 - 如果您希望立即开始迁移，则单击"**确认**"按钮，立即运行工作流。 - 如果仅需保存任务配置暂不启动迁移，则单击"**取消** "。此时迁移任务状态为"**待启动** "，尚未开始迁移。后续可在任务列表中单击"**启动**"按钮启动迁移。 #### 步骤三：跟踪迁移任务 在迁移任务列表，单击任务名称，进入"任务详情"页面，可以查看该迁移任务的状态，进展以及所包含资源的迁移进度。以下为您可以对任务中的资源进行的相关操作： - **查看资源迁移详情** ：单击资源名称，右侧弹出"资源迁移详情"窗口，可以查看该资源的迁移"基本信息"，"运行状态"和"资源迁移进度"等信息。还可以进行如下操作： | 操作 | 步骤 | |:---|:---| | 更换集群 | 只有任务状态（即工作流状态）为"**已暂停** "时，可以进行"**更换集群**"操作。仅支持健康状态的集群相互切换。 1. 在**基础信息** 区域，单击迁移集群名称后的"**更换**"。 2. 在下拉列表中选择新集群，单击"**确认**"，更换集群后，系统开始自动运行。 | | 修改定时迁移 | 1. 在**基础信息** 区域，单击**定时迁移** 下的"**修改**"。 2. 设置**开始时间** 和**结束时间** ，单击"**确认**"。 | | 修改并发子任务数 | 1. 在**迁移进度** 区域，单击期望并发子任务数上方的"**修改**"，配置期望并发的子任务数。配置要求：配置的数目不能超过可用迁移节点数x10。例如，可用的迁移节点数为2，则配置数目需要≤20。 2. 单击"**确认**"，完成并发子任务数修改。 | | 添加迁移限速规则 | 1. 在**迁移速度** 区域，单击"**添加** "按钮，可以增加一条限速规则，用于限制该资源在某个时间段内的迁移速度。 说明： - 限速的数值范围：1\~1048576 MB/s 。 - 创建多条限速规则时，限速时段不能重叠。 例如：已有一条规则，限速时段是8:00\~12:00，那么7:00\~13:00，7:00\~8:00，9:00\~12:00...有时间重叠的规则，都无法创建成功。 - 开始时间不能晚于等于结束时间。 例如：不能设置时间段为23:00\~次日01:00。 - 最多可以创建5条记录。 - 时区时间以目的端Region的当地时间为准。 2. 设置完成后，单击"**保存**"，完成添加。 | | 获取迁移**失败** /**跳过** /**成功**资源列表文件 | 在**迁移统计** 区域，可以查看存放迁移**失败** /**跳过** /**成功** 的资源列表文件路径以及失败对象原因统计。单击路径，可以进入存放文件的OBS桶，获取对应列表文件。您可以参考[失败对象列表错误码](https://support.huaweicloud.com/mgc_faq/mgc_04_9016.html#mgc_04_9016__table3385164819912)，排查失败对象的原因和处理方法。 | | 查看迁移流量统计 | 在**流程统计**区域，可以查看该资源近1小时、近6小时、近24小时、整个周期迁移流量使用情况。 | - **步骤确认** ：当资源的运行步骤到达需要**手动** **确认**的步骤时，单击对应资源"迁移状态"列或"操作"列的"确认"按钮，迁移任务才会继续进行后续迁移步骤。