# 文件存储迁移（独享集群） #### 什么是文件存储迁移（独享集群） 文件存储迁移（独享集群）是提供独立专享迁移集群以及迁移专线的配置功能，支持多种云厂商的NAS迁移，提供高效全面的存储迁移服务。使用独享集群会产生一定费用，详细费用说明请参考[迁移集群费用说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0096.html#section1)。 #### 约束与限制 关于存储迁移的约束与限制请查看[存储迁移的约束与限制有哪些？](https://support.huaweicloud.com/mgc_faq/mgc_04_9002.html) #### 风险提示 在创建迁移任务时，对于源端和目的端的同名对象，我们提供了四种覆盖策略：**对象大小与最后修改时间覆盖、** **不覆盖** 、**直接覆盖** 和**CRC64对比覆盖** 。选择"**不覆盖** "策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会出现部分数据未完全迁移，但任务显示 "成功" 的情况。影响数据的完整性。为规避这一风险，**请谨慎使用"** **不覆盖** **"策略**。 #### 操作流程 文件存储迁移的完整操作流程，请参见[表1]。 表1文件存储迁移操作流程 | 步骤 | 说明 | |:---|:---| | [准备工作] | - 账号和权限准备：使用MgC之前，您需要拥有一个华为账号或一个能够访问MgC的IAM用户，并配置相应的权限。 - 创建应用迁移项目：在获取目的端华为云账号和权限后，需要在迁移中心MgC控制台创建用于文件存储迁移的项目。 - 创建目的端弹性文件系统，用于迁移后的数据存储和管理。 - 创建迁移集群，提高迁移效率。 | | [步骤一：配置迁移任务] | 配置文件存储迁移任务，包括基础信息，源端信息，目的端信息，迁移参数配置和高级选项等操作。 | | [步骤二：确认信息] | 确认配置文件存储迁移任务所填写的信息。 | | [步骤三：跟踪迁移任务] | 启动迁移任务后，查看迁移任务内资源的运行状态、迁移阶段和迁移步骤等信息。 | #### 准备工作 在创建主机跨区域迁移任务之前，请参照[表2]提前完成准备工作。 表2准备事项的方法和要求 | 事项 | 方法和要求 | |:---|:---| | 账号和权限准备 | 1. 注册华为账号开通华为云并完成实名认证。**如果您已开通华为云并进行实名认证，请忽略此步骤** 。 1. 访问[华为云](https://www.huaweicloud.com/)，单击"**注册**"。 2. 根据提示信息完成注册开通，详细操作请参见[注册华为账号并开通华为云](https://support.huaweicloud.com/usermanual-account/account_id_001.html)。 3. 完成个人或企业账号实名认证。 - 个人账号：[实名认证](https://support.huaweicloud.com/usermanual-account/zh-cn_topic_0077914254.html) - 企业账号：[实名认证](https://support.huaweicloud.com/usermanual-account/zh-cn_topic_0077914253.html) 2. 创建IAM用户并授权。**如果您使用华为账号（管理员账号）进行迁移，则跳过该步骤。** 1. 创建IAM用户。创建方法请参考[创建IAM用户](https://support.huaweicloud.com/usermanual-iam/iam_02_0001.html)或[创建IAM用户（新版）](https://support.huaweicloud.com/usermanual-iam5/iam_01_1144.html)。 2. 参考[基于角色与策略的IAM用户自定义权限](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0145.html)或[基于身份策略的IAM用户自定义权限（新版）](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3115.html)中的**"存储迁移"** 创建相应的自定义策略并为IAM用户授权。授权方法请参考[给IAM用户授权](https://support.huaweicloud.com/usermanual-iam/iam_01_0652.html)或[给IAM用户授权（新版）](https://support.huaweicloud.com/usermanual-iam5/iam_01_1145.html)。 3. （可选）获取目的端账号的AK/SK。 目的端为OBS桶时需要使用目的端账号的AK/SK进行鉴权认证。获取目的端账号AK/SK的方法请参见[新增访问密钥](https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html)或[新增访问密钥（新版）](https://support.huaweicloud.com/usermanual-ca/ca_05_0003.html)。 | | 创建应用迁移项目 | 创建独立的迁移项目，将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。具体操作，请参见[创建应用迁移项目](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0006.html#mgc_03_0006__section182421717526)。 | | 创建迁移集群 | 迁移集群是专为存储工作流提供协作中的核心组件，通过集群可以创建和管理迁移节点、列举节点，部署和升级迁移插件，确保存储工作流顺利运行。具体操作请参见[创建迁移集群](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0096.html)。 | | 创建目的端弹性文件系统 | 在目的端创建相应的弹性文件系统，用于迁移后的数据存储和管理，方法请参见[创建弹性文件系统](https://support.huaweicloud.com/usermanual-sfs/zh-cn_topic_0034428727.html)或[创建SFS Turbo文件系统](https://support.huaweicloud.com/usermanual-sfsturbo/sfsturbo_01_0359.html)。 | #### 步骤一：配置迁移任务 1. 在左侧导航栏选择"存储迁移 \> 文件存储迁移"，进入"文件存储迁移"页面。 2. 单击"创建迁移任务"按钮，进入"创建迁移任务"页面。 3. 根据[表3]，配置基础信息参数。 表3基础信息参数说明 | 参数 | 说明 | |:---|:---| | 名称 | 用户自定义。只支持输入英文、数字、中文、中划线、下划线以及小数点，必须以中文、英文或者数字开头，且不能以小数点开头或结尾。 | | 区域 | 下拉菜单中选择目的端所在区域。 | | 描述 | 用户自定义。字符长度限制255，只支持输入英文、数字、中文、中划线、下划线、逗号、句号、顿号、空格以及小数点，且不能以小数点、中划线或下划线开头。 | | 集群 | 选择用于迁移的集群，集群中包含master节点、迁移节点和列举节点。如果没有可用集群，可以[新建集群](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0096.html)。 说明： master节点为系统默认创建，无需配置。 | 4. 根据[表4]、[表5]，配置源端、目的端信息。 表4源端信息参数说明 | 参数 | 说明 | 备注 | |:---|:---|:---| | 数据站点类型 | 目前支持迁移的源端存储类型包括： - NAS_GFS（谷歌云文件系统） - NAS_SMB（SMB/CIFS文件系统） - NAS_NFS_V3_MOUNT（非标准NFSV3协议的文件系统） - NAS_NFS_V3_PROTOCOL（标准NFSV3协议的文件系统） | - | | 开启KMS加密 | 否：不启用KMS密钥来加密您的源端凭证。 | 数据站点类型选择**NAS_SMB**时填写 | | 开启KMS加密 | 是：启用KMS密钥来加密您的源端凭证。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 | 数据站点类型选择**NAS_SMB**时填写 | | 文件存储服务地址 | 输入源端文件系统的挂载地址，格式为：IP地址+:/或IP地址+:/ xxx，例如：192.1.1.1:/或192.1.1.1:/0001 | - | | 路径 | 输入待迁移文件路径，格式为：/文件夹。 | - | | 用户名 | 输入具有访问源端文件系统所有文件权限的用户名，例如：administrator。 | 数据站点类型选择**NAS** _**SMB**时填写。 | | 密码 | 输入用户名对应的密码。 | 数据站点类型选择**NAS** _**SMB**时填写。 | | Windows上的域 | 输入对应的域名。 说明： 只需输入.com之前的内容，例如：域名为test.com，则输入test。 | 数据站点类型选择**NAS** _**SMB**时填写。 | 表5目的端信息参数说明 | 参数 | 说明 | 备注 | |:---|:---|:---| | 数据站点类型 | 根据源端存储类型，选择华为云对应的存储类型。 | - | | 凭证 | 单击下拉选择凭证。如未提前添加凭证，请单击"**新增凭证** "，填写凭证名称、选择认证方式、输入AK、SK，单击"**校验并保存**"，完成添加。 | 数据站点类型选择**华为云OBS**时填写。 | | 桶 | 选择目的端OBS桶。 说明： 桶存储类别只支持标准存储和低频访问存储。 | 数据站点类型选择**华为云OBS**时填写。 | | 桶类型 | 根据桶的实际类型选择。桶类型可以通过[查看桶的基本信息](https://support.huaweicloud.com/browsertg-obs/obs_03_1043.html)获取。 | 数据站点类型选择**华为云OBS**时填写。 | | 对象存储终端地址 | 输入目的端OBS桶所在区域的终端节点（Endpoint）信息。例如：目的端桶所在区域为**华北-北京四**，则输入"obs.cn-north-4.myhuaweicloud.com"。 说明： 可在OBS桶的基本信息查看。 | 数据站点类型选择**华为云OBS**时填写。 | | 指定前缀 | 将对象迁移到指定前缀，例如：源端对象路径为/A/B/C.txt，目的端前缀配置为/D，迁移后目的端对象路径为/D/A/B/C.txt。详细介绍请参考 [设置"保存到指定前缀"参数](https://support.huaweicloud.com/bestpractice-oms/oms_05_0506.html)中的功能介绍**。** | 数据站点类型选择**华为云OBS**时填写。 | | 开启KMS加密 | 否：不启用KMS密钥来加密您的目的端凭证。 | 数据站点类型选择**华为云OBS/NAS_SMB**时填写。 | | 开启KMS加密 | 是：启用KMS密钥来加密您的源端凭证。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 | 数据站点类型选择**华为云OBS/NAS_SMB**时填写。 | | 文件存储服务地址 | 输入目的端文件系统的挂载地址。挂载地址可以在文件系统列表页面，单击**挂载地址** 后面的![](https://support.huaweicloud.com/usermanual-mgc/zh-cn_image_0000002532310004.png)图标复制获取。 | 数据站点类型选择**NAS_SMB** **/NAS_NFS_V3_MOUNT**时填写。 | | 路径 | 输入目的端接收文件的路径，格式为：/文件夹。 | 数据站点类型选择**NAS_SMB** **/NAS_NFS_V3_MOUNT**时填写。 | | 用户名 | 输入具有访问目的端文件系统所有文件权限的用户名，例如：administrator。 | 数据站点类型选择**NAS** _**SMB**时填写。 | | 密码 | 输入用户名对应的密码。 | 数据站点类型选择**NAS** _**SMB**时填写。 | | Windows上的域 | 输入对应的域名。 说明： 只需输入.com之前的内容，例如：域名为test.com，则输入test。 | 数据站点类型选择**NAS** _**SMB**时填写。 | 5. 根据[表6]，进行迁移配置。 表6迁移配置参数说明 | 参数 | 子参数 | 说明 | |:---|:---|:---| | 迁移方式 | 全量迁移 | 迁移源端桶/文件夹内的全部数据。 | | 迁移方式 | 列表迁移 | 通过列表文件过滤迁移，只迁移列表文件中的对象。 在"**列表路径**"输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下： - 目的端为OBS - 对象列表文件大小不能超过30MB。 - 对象列表文件类型必须为.txt类型，并且元数据ContentType只能为text/plain。 - 对象列表文件必须是UTF-8无BOM格式编码格式。 - 对象列表文件每行只能包含一个对象名称，且对象名称使用URL Encode编码。 - 对象列表文件行长度不超过16KB，否则迁移失败。 - 对象列表文件元数据中不能设置ContentEncoding，否则迁移失败。 - 对象列表文件行数不超过10,000行。 - 目的端为NAS - 对象列表文件大小不能超过30MB。 - 对象列表文件类型必须为.txt类型。 - 对象列表文件必须是UTF-8无BOM格式编码格式。 - 对象列表文件每行只能包含一个对象名称，且对象名称使用URL Encode编码。 - 对象列表文件行长度不超过16KB，否则迁移失败。 - 对象列表文件行数不超过10,000行。 注意： 列表迁移源端为NAS时注意事项： - 如果文件存储服务地址是以冒号加斜杠（:/）结尾，请确保在列表文件中的路径是相对于挂载地址的绝对路径。 例如，文件存储服务地址为"192.1.1.1:/"，挂载地址为"/mnt/turbo"，则填写"/mnt/turbo"下的绝对路径。 如果要使用列表迁移的形式迁移"test2.log"文件，则应在列表中填写路径：/mgc/filter_test/test2.log - 如果文件存储服务地址在冒号加斜杠（:/）之后还包含其他路径，配置列表路径单时，除了填写挂载地址下的绝对路径外，还要加上文件存储服务地址:/之后的部分。 例如，文件存储服务地址为"192.1.1.1:/mgc-test"，挂载地址为"/mnt/turbo"，则填写"mgc-test+/mnt/turbo"下的绝对路径。 如果要使用列表迁移的形式迁移迁移"test2"文件，则应在列表中填写路径：/mgc-test/autotest/filter_test/test2。 | | 迁移方式 | 前缀迁移 | 仅支持云平台数据类型。 在"前缀路径"输入对象名称或者名称前缀，则只迁移与输入对象名称或名称前缀一致的对象。 - 输入对象前缀路径时，如果对象文件在源端桶的根目录下，则直接添加前缀；如果对象文件存在目录路径，则需要在对象前缀前添加对象文件所在的目录路径。格式为：文件夹/对象前缀。 - 多个前缀之间用英文逗号分隔。 | | 并发子任务数 | - | 默认5，支持用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。 | | 同名覆盖方式 | 不覆盖 | 对于源端和目的端存在的同名文件，跳过源端文件，保留目的端文件。 警告： - 首次迁移时选择"不覆盖"，不会迁移源端中父文件夹的属性到目的端，可能会造成文件夹属性不完整。为规避这一风险，首次迁移时请谨慎使用"不覆盖"策略。 - 选择"不覆盖"策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会造成部分数据未完全迁移，而任务显示成功的现象，影响数据的完整性。为规避这一风险，请谨慎使用"不覆盖"策略。 | | 同名覆盖方式 | 直接覆盖 | 对于源端和目的端存在的同名文件，源端文件直接覆盖目的端文件。 | | 同名覆盖方式 | 对象大小与最后修改时间覆盖 | - 对于文件迁移：源端和目的端存在的同名文件，保留最后修改时间较新的文件；如果最后修改时间相同，比较文件大小，大小不同则源端覆盖目的端文件；如果最后修改时间和大小都相同，则跳过； - 对于文件夹迁移：当文件迁移完成后再比对文件夹大写、时间和权限，如果文件夹大小不同/时间不相同/权限不相同，则源端覆盖目的端文件夹； 说明： 对于空文件夹，覆盖策略与文件相同。 | | 同名覆盖方式 | CRC64对比覆盖 | 迁移前，对于源端和目的端存在的同名对象，对比源端和目的端对象元数据中的CRC64值，相同则跳过，不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间对比覆盖策略执行。 说明： - 目前仅支持华为云、阿里云、腾讯云。 - 目的端OBS桶需开启CRC64特性白名单。 | | 一致性校验 | 对象大小与最后修改时间校验 | 默认配置，通过对比源端和目的端对象大小与最后修改时间，判断迁移后数据是否完整。 | | 一致性校验 | CRC64校验 | 通过对比源端和目的端对象元数据中CRC64值，校验数据一致性。当源端数据或目的端数据未含CRC64，OMS会生成CRC64值。注意：CRC64校验可能会产生额外的外网流量费用和请求费用。详见[一致性校验说明]。 说明： - 目前仅支持NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL。 - 目的端OBS桶需开启CRC64特性白名单。 | | 迁移元数据 | - | 选择是否迁移元数据。 - 勾选，则迁移源端对象元数据。 - 不勾选时，仅迁移Content-Type和Content-Encoding元数据。如果源端存储服务提供商未提供该元数据（如优刻得未提供Content-Encoding），则该元数据将不会被迁移。 | | 清理集群 | - | 选择工作流是否创建清理集群步骤。 - 勾选，迁移工作流将自动创建清理集群步骤，您还可以继续配置是否删除NAT网关、安全组、VPCEP服务等。 - 不勾选，迁移工作流不创建清理集群步骤，工作流创建30天后系统会自动清除集群。 | 6. （可选）根据[表7]，配置高级选项。 表7高级选项参数说明 | 参数 | 说明 | |:---|:---| | 目的端存储类型 | 选择迁移到华为云OBS后，对象的存储类型。存储策略说明请参见[存储类型介绍](https://support.huaweicloud.com/mgc_faq/mgc_04_9015.html)。 说明： 归档和深度归档存储类别不支持CRC64校验。即使一致性校验策略选择为CRC64校验，系统也会自动采用对象大小与最后修改时间的校验策略来执行一致性校验。 | | KMS加密 | 仅目的端选择**华为云OBS**时支持配置。 - 不勾选，迁移后对象状态与目的端桶级服务端加密状态保持一致。 - 勾选，所有对象在迁移到OBS桶后都将被加密存储。 说明： - 使用KMS服务端加密可能会降低迁移速率10%左右。 - 目的端桶所在区域支持KMS加密时，此参数才可用。 | | 解冻归档数据 | - 不勾选：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。 - 勾选：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。 说明： 在数据迁移的列举阶段，系统会对列举出的所有数据发起取回操作，源端云服务商会收取相应的API调用费用和存储费用。为了避免产生多余的解冻费用，建议您优先在源端手动操作解冻后再开始迁移。 | | 过滤配置 | 通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见[过滤策略说明]。 | | CDN迁移支持 | 当默认域名不能满足您的迁移需求，比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用，可以勾选此选项。在域名输入框中输入自定义域名，并选择传输协议。 仅源端为**阿里云OSS、腾讯云COS**时支持配置。如果使用了CDN鉴权，还需要选择"鉴权类型"并输入"鉴权密钥"。 | | CDN迁移支持 | 如果使用了CDN鉴权，还需要选择是否开启KMS加密： - 否：不启用KMS密钥来加密。 - 是：启用KMS密钥来加密。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 | | SMN消息发送配置 | 选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。 - 不勾选，不接收SMN消息。 - 勾选，接收SMN消息。选择SMN主题，会向该主题的订阅者发送消息；选择消息发送语言；选择发送消息的触发条件，支持同时勾选。 | | 流量控制 | 设置迁移任务在指定时段的最大流量带宽。 - 不勾选，不进行流量控制。 - 勾选，进行流量控制。分别设置"开始时间"、"结束时间"和"限速"数值。 例如：设置开始时间08：00、结束时间12：00、限速为20 MB/s，当迁移任务运行到（08:00\~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。 说明： - 限速的数值范围：1\~1048576 MB/s 。 - 创建多条限速规则时，限速时段不能重叠。 例如：已有一条规则，限速时段是8:00\~12:00，那么7:00\~13:00，7:00\~8:00，9:00\~12:00...有时间重叠的规则，都无法创建成功。 - 开始时间不能晚于等于结束时间。 例如：不能设置时间段为23:00\~次日01:00。 - 最多可以创建5条记录。 - 时区时间以目的端Region的当地时间为准。 | | 定时迁移 | 设置迁移任务在指定时间内自动迁移。 - 不勾选，手动启动/暂停迁移任务。 - 勾选，设置任务在指定时间范围内进行迁移，指定时间以外则暂停迁移。 例如： - 设置开始时间08：00、结束时间12：00，则迁移任务会在每天早晨08:00至中午12:00该时间段进行迁移。该时间段以外，则迁移任务暂停。 - 设置开始时间12：00、结束时间08：00，则迁移任务会在每天中午12：00至次日早晨08：00该时间段进行迁移。该时间段以外，则迁移任务暂停。 | #### 步骤二：确认信息 1. 迁移任务配置完成后，单击"**下一步：确认信息**"按钮，进入确认信息页面。 2. 确认配置信息无误后，单击"**确认创建迁移任务** "，弹出**启动迁移任务** 窗口，此时工作流已创建完成。 - 如果您希望立即开始迁移，则单击"**确认**"按钮，立即运行工作流。 - 如果您需要在标准工作流中[添加阶段/步骤](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3197.html)，则单击"**取消** "，此时迁移工作流状态为"**待启动** "，并未开始迁移。确定工作流步骤后，单击"**启动**"按钮，开始迁移。 #### 步骤三：跟踪迁移任务 在迁移任务列表，单击任务名称，进入"任务详情"页面，可以查看该迁移任务的状态，进展以及所包含资源的迁移进度。以下为您可以对任务中的资源进行的相关操作： - **查看资源迁移详情** ：单击资源名称，右侧弹出"资源迁移详情"窗口，可以查看该资源的迁移"基本信息"，"运行状态"和"资源迁移进度"等信息。还可以进行如下操作： | 操作 | 步骤 | |:---|:---| | 更换集群 | 只有任务状态（即工作流状态）为"**已暂停** "时，可以进行"**更换集群**"操作。仅支持健康状态的集群相互切换。 1. 在**基础信息** 区域，单击迁移集群名称后的"**更换**"。 2. 在下拉列表中选择新集群，单击"**确认**"，更换集群后，系统开始自动运行。 | | 修改定时迁移 | 1. 在**基础信息** 区域，单击**定时迁移** 下的"**修改**"。 2. 设置**开始时间** 和**结束时间** ，单击"**确认**"。 | | 修改并发子任务数 | 1. 在**迁移进度** 区域，单击期望并发子任务数上方的"**修改**"，配置期望并发的子任务数。配置要求：配置的数目不能超过可用迁移节点数x10。例如，可用的迁移节点数为2，则配置数目需要≤20。 2. 单击"**确认**"，完成并发子任务数修改。 | | 添加迁移限速规则 | 1. 在**迁移速度** 区域，单击"**添加** "按钮，可以增加一条限速规则，用于限制该资源在某个时间段内的迁移速度。 说明： - 限速的数值范围：1\~1048576 MB/s 。 - 创建多条限速规则时，限速时段不能重叠。 例如：已有一条规则，限速时段是8:00\~12:00，那么7:00\~13:00，7:00\~8:00，9:00\~12:00...有时间重叠的规则，都无法创建成功。 - 开始时间不能晚于等于结束时间。 例如：不能设置时间段为23:00\~次日01:00。 - 最多可以创建5条记录。 - 时区时间以目的端Region的当地时间为准。 2. 设置完成后，单击"**保存**"，完成添加。 | | 获取迁移**失败** /**跳过** /**成功**资源列表文件 | 在**文件统计** 区域，可以查看存放迁移**失败** /**跳过** /**成功**的资源列表文件路径。单击路径，可以进入存放文件的OBS桶，获取对应列表文件。 | | 查看迁移流量统计 | 在**流程统计**区域，可以查看该资源近1小时、近6小时、近24小时、整个周期迁移流量使用情况。 | - **步骤确认** ：当资源的运行步骤到达需要**手动** **确认**的步骤时，单击对应资源"迁移状态"列或"操作"列的"确认"按钮，迁移任务才会继续进行后续迁移步骤。 #### 查看任务配置 在迁移任务列表，在操作列单击"**查看配置** "，进入概览页面，单击集群名称后的"**管理** "，右侧弹出集群详细信息页面。在这个页面上，您可以进行如下操作： - **设置流量控制规则**：您可以添加、编辑或删除流量控制规则，以确保集群内的流量按照您的需求进行管理。 - **节点管理**：您可以根据实际需求，添加/删除迁移节点和列举节点，也可以对现有节点进行插件升级。 #### 删除迁移任务中的资源 在"迁移任务详情"页面，您可以删除处于"失败"、"暂停"和"已完成"状态的资源。如果迁移任务中的所有资源均被删除，该迁移任务也将被同步删除。 1. 在迁移任务列表，单击迁移任务名称，进入"迁移任务详情"页面。 2. 在迁移资源列表，勾选需要删除的资源，单击列表上方的"批量删除"按钮，右侧弹出"删除资源"窗口。 3. 确认所选的资源均可以被删除后，输入"DELETE"，单击"确定"按钮，完成删除。 ![](https://support.huaweicloud.com/usermanual-mgc/public_sys-resources/notice_3.0-zh-cn.png) 如果因为迁移任务与关联服务（如 SMS、OMS、OBS）连接断开导致资源删除失败，可以勾选"是否强制删除"，强制删除仅能保证清除MgC服务中的资源数据，无法保证同步清理关联服务中已生成的任务与资源。执行强制删除后，请务必前往相关服务确认并手动删除对应资源，防止有残留数据。 #### 过滤策略说明 过滤策略参数填写通配符规则说明和约束说明参见[表8]。 表8过滤策略参数说明 | 参数 | 说明 | 填写规则 | 约束说明 | |:---|:---|:---|:---| | 黑名单 | 命中黑名单规则，则文件不进行迁移/一致性对比。支持精确匹配和模糊匹配。 | - 精确匹配 全路径精确匹配，填写文件绝对路径，特殊字符用反斜杠（\\）转义。 注意： 配置黑、白名单注意事项： - 对象存储服务中，常以/来表示目录结构，在进行黑白名单匹配时，对象名将按照其实际完整路径（包含路径中的斜杠 "/"）进行匹配。 例如，OBS中命名为A的文件夹，其路径为A/ - 如果文件存储服务地址是以冒号加斜杠（:/）结尾，请确保在黑、白名单中填写的路径是相对于挂载地址的绝对路径。 例如，文件存储服务地址为"192.1.1.1:/"，挂载地址为"/mnt/turbo"，则填写"/mnt/turbo"下的绝对路径。 挂载信息示例： ``` [root@oms-cluster-ecs filter_test]# pwd /mnt/sts_turbo/mgc/filter_test [root@oms-cluster-ecs- filter_test]# ll drwxr-xr-x 2 root root 0 Aug 16 15:27 test2 -rw-r--r-- 1 root root 5 Aug 16 15:27 test2.log ``` 如果要使黑名单精确匹配以避免迁移"test2.log"文件，则应在黑名单中填写路径：/mgc/filter_test/test2.log - 如果文件存储服务地址在冒号加斜杠（:/）之后还包含其他路径，配置黑、白名单时，除了填写挂载地址下的绝对路径外，还要加上文件存储服务地址:/之后的部分。 例如，文件存储服务地址为"192.1.1.1:/mgc-test"，挂载地址为"/mnt/turbo"，则填写"mgc-test+/mnt/turbo"下的绝对路径。 挂载信息示例： ``` [root@oms-cluster-ecs execution-service]# cd /mnt/turbo/autotest/filter_test/ [root@oms-cluster-ecs- filter_test]# ll -rw-r--r-- 1 root root 14 Aug 8 09:22 test1.log drwxr-xr-x 1 root root 4096 Aug 8 09:22 test2 -rw-r--r-- 1 root root 14 Aug 8 09:22 test2.log ``` 如果要使黑名单精确匹配以避免迁移"test2"文件，则应在黑名单中填写路径：/mgc-test/autotest/filter_test/test2 - 模糊匹配 - \*匹配任何字符0个或者多个，但不匹配斜杠(/) - 使用\*\*匹配任何字符0个或者多个，包括斜杠(/) - ?匹配除斜杠(/)之外的任何字符，只能匹配一个 - {和}定义元素之间的选择：包含一个以逗号分隔的模式列表, 其中任何一种模式都可能匹配，可以包含通配符。 - 特殊字符可以在它们之前使用 \\进行转义，\\后面为通配符时，表示转义，否则表示\\本身 | - 除**{** 和**}** 以外，不能出现连续的规则符号，例如：**\*\*\*** 、**\*?** 、**\*\*?** 、**?\*** 、**?\*\*** 、**\*{\*** 、**\*}\*** 、**\*}?** 、**?{\*** 、**{\*}** 、**{,}** 、**{\*,** 、**,** **\*}** 、**,\*,**。 - **{** 和**}** 之间的模式，只能使用**\***做通配符。 - **{** 和**}** 之间的模式，不能有**{}**嵌套。 - 文件绝对路径在黑名单和白名单同时命中，则黑名单生效，即不做迁移。 - 需要配置多个匹配规则时，用英文分号隔开。 | | 白名单 | - 白名单为空时，迁移所有文件。 - 白名单不为空时，仅对绝对路径命中白名单规则的文件进行迁移/一致性对比。 | - 精确匹配 全路径精确匹配，填写文件绝对路径，特殊字符用反斜杠（\\）转义。 注意： 配置黑、白名单注意事项： - 对象存储服务中，常以/来表示目录结构，在进行黑白名单匹配时，对象名将按照其实际完整路径（包含路径中的斜杠 "/"）进行匹配。 例如，OBS中命名为A的文件夹，其路径为A/ - 如果文件存储服务地址是以冒号加斜杠（:/）结尾，请确保在黑、白名单中填写的路径是相对于挂载地址的绝对路径。 例如，文件存储服务地址为"192.1.1.1:/"，挂载地址为"/mnt/turbo"，则填写"/mnt/turbo"下的绝对路径。 挂载信息示例： ``` [root@oms-cluster-ecs filter_test]# pwd /mnt/sts_turbo/mgc/filter_test [root@oms-cluster-ecs- filter_test]# ll drwxr-xr-x 2 root root 0 Aug 16 15:27 test2 -rw-r--r-- 1 root root 5 Aug 16 15:27 test2.log ``` 如果要使黑名单精确匹配以避免迁移"test2.log"文件，则应在黑名单中填写路径：/mgc/filter_test/test2.log - 如果文件存储服务地址在冒号加斜杠（:/）之后还包含其他路径，配置黑、白名单时，除了填写挂载地址下的绝对路径外，还要加上文件存储服务地址:/之后的部分。 例如，文件存储服务地址为"192.1.1.1:/mgc-test"，挂载地址为"/mnt/turbo"，则填写"mgc-test+/mnt/turbo"下的绝对路径。 挂载信息示例： ``` [root@oms-cluster-ecs execution-service]# cd /mnt/turbo/autotest/filter_test/ [root@oms-cluster-ecs- filter_test]# ll -rw-r--r-- 1 root root 14 Aug 8 09:22 test1.log drwxr-xr-x 1 root root 4096 Aug 8 09:22 test2 -rw-r--r-- 1 root root 14 Aug 8 09:22 test2.log ``` 如果要使黑名单精确匹配以避免迁移"test2"文件，则应在黑名单中填写路径：/mgc-test/autotest/filter_test/test2 - 模糊匹配 - \*匹配任何字符0个或者多个，但不匹配斜杠(/) - 使用\*\*匹配任何字符0个或者多个，包括斜杠(/) - ?匹配除斜杠(/)之外的任何字符，只能匹配一个 - {和}定义元素之间的选择：包含一个以逗号分隔的模式列表, 其中任何一种模式都可能匹配，可以包含通配符。 - 特殊字符可以在它们之前使用 \\进行转义，\\后面为通配符时，表示转义，否则表示\\本身 | - 除**{** 和**}** 以外，不能出现连续的规则符号，例如：**\*\*\*** 、**\*?** 、**\*\*?** 、**?\*** 、**?\*\*** 、**\*{\*** 、**\*}\*** 、**\*}?** 、**?{\*** 、**{\*}** 、**{,}** 、**{\*,** 、**,** **\*}** 、**,\*,**。 - **{** 和**}** 之间的模式，只能使用**\***做通配符。 - **{** 和**}** 之间的模式，不能有**{}**嵌套。 - 文件绝对路径在黑名单和白名单同时命中，则黑名单生效，即不做迁移。 - 需要配置多个匹配规则时，用英文分号隔开。 | | 时间段 | 配置时间段，根据配置，迁移最后修改时间在配置时间段内的文件或者文件夹。 开始时间和结束时间可以配置为空，为空时表示不限制，时间可以精确到分钟。 ||| 过滤策略场景规则示例以及举例见下表。 ![](https://support.huaweicloud.com/usermanual-mgc/public_sys-resources/notice_3.0-zh-cn.png) 例如第一级目录为"test"，那么： - NAS的路径格式为："/test"。 - OBS的路径格式为："test"。 | 场景 | NAS规则示例 | OBS规则示例 | 说明 | |:---|:---|:---|:---| | 文件路径以xx结尾(特定后缀) | /xx/\*\*xx | xx/\*\*xx | xx可以是包含\*和?的表达式 | | 根路径下第一层xx开始的文件 | /xx\* - /testssss 匹配 - /test/xx 不匹配 | /xx\* - testssss 匹配 - test/xx 不匹配 | xx可以是包含\*和?的表达式 | | 文件路径以xx开始 | /xx\*\* /xx/\*\* | xx\*\* xx/\*\* | xx可以是包含\*和?的表达式 | | 文件名包含xx | \*\*xx\* | \*\*xx\* | xx可以是包含\*和?的表达式 | | 文件路径包含xx | \*\*xx\*\* | \*\*xx\*\* | xx可以是包含\*和?的表达式 | | 文件路径以xx开始，以yy结尾 | /xx\*\*yy | xx\*\*yy | xx，yy可以是包含\*和?的表达式 | | 文件路径以xx，yy结尾(特定后缀) | \*\*{xx,yy} | \*\*{xx,yy} | xx，yy可以是包含\*和?的表达式 | | 文件名包含xx，yy | \*\*{xx,yy}\* | \*\*{xx,yy}\* | xx，yy可以是包含\*和?的表达式 | | 文件路径包含xx，yy | \*\*{xx,yy}\*\* | \*\*{xx,yy}\*\* | xx，yy可以是包含\*和?的表达式 | #### 一致性校验说明 MgC调用OMS的一致性校验功能，支持对象大小与最后修改时间校验和CRC64校验。不同的场景，使用的数据校验方式不同，具体说明如下： | 校验方式 | 特点 | 场景 | 执行过程 | 影响说明 | |:---|:---|:---|:---|:---| | 对象大小与最后修改时间 | 仅校验大小和修改时间，不校验内容。 | 适用于各种场景。 | 完成迁移后，对比源端和目的端对象的大小和修改时间。 | 无 | | CRC64校验 | 基于ECMA-182算法对迁移数据实施校验，可精准检测数据迁移过程中出现的不一致问题。 | 源端和目的端均存在CRC64值。 | 对象迁移完成后，分别调用源端和目的端接口获取该对象的CRC64值，进行比对。 | 获取对象CRC64值可能产生云服务接口请求费用和公网流量费用。 | | CRC64校验 | 基于ECMA-182算法对迁移数据实施校验，可精准检测数据迁移过程中出现的不一致问题。 | 源端无CRC64值，目的端存在CRC64值。 | 源端对象的CRC64值由OMS在迁移过程中同步计算；对象迁移完成后，调用目的端接口获取该对象的CRC64值，进行对比。 | 获取对象CRC64值可能产生云服务接口请求费用和公网流量费用。 | | CRC64校验 | 基于ECMA-182算法对迁移数据实施校验，可精准检测数据迁移过程中出现的不一致问题。 | 源端存在CRC64值，目的端无CRC64值。 | 对象迁移完成后，调用源端获取该对象的CRC64值，目的端对象的CRC64值由OMS读取目的端对象计算，进行比对。 | - 获取对象CRC64值可能产生云服务接口请求费用和公网流量费用。 - OMS会额外拉取目的端流进行计算，此场景下执行校验的额外用时可能与迁移用时相当。 | | CRC64校验 | 基于ECMA-182算法对迁移数据实施校验，可精准检测数据迁移过程中出现的不一致问题。 | 源端和目的端均无CRC64值。 | 源端对象的CRC64值由OMS在迁移过程中同步计算；对象迁移完成后，目的端对象的CRC64值由OMS读取目的端对象计算，进行比对。 | OMS会额外拉取目的端流进行计算，此场景下执行校验的额外用时可能与迁移用时相当。 |