# OBS多前缀批量迁移 本文将详细介绍如何使用前缀列表文件（包含多个前缀的列表文件）来筛选并批量迁移OBS桶内的对象。 #### 准备工作 - 使用MgC之前，您需要拥有一个华为云账号或一个可用于访问MgC的IAM用户，获取方法请参见[准备工作](https://support.huaweicloud.com/qs-mgc/mgc_02_0002.html)。 - 在MgC控制台[创建应用迁移项目](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0006.html)。 - 将源端资源所在账号的AK/SK和目的端桶所在账号的AK/SK分别添加到MgC。添加方法请参考[凭证管理](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0007.html)，认证方式选择AK/SK 。源端AK/SK作为采集源端资源的凭证，目的端AK/SK作为迁移凭证。 - 确保源端账号AK/SK和目的端账号AK/SK拥有迁移需要的权限，详细介绍请参见[如何获取源端桶和目的端桶权限？](https://support.huaweicloud.com/oms_faq/topic_0000001084426802.html) - 在华为云创建用于接收源端对象存储数据的OBS桶（即目的端桶），创建方法请参考[创建桶](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html#section1)。如果您已有目的端桶，则无需重新创建。 - 创建前缀列表文件。 为每个待迁移的源端桶，创建一个对应的前缀列表文件（即一个桶对应一个前缀列表文件），前缀列表文件要求如下： - 文件格式为.txt，大小不超过2 MB。 - 每行只能包含一个前缀，每个前缀的长度不超过1024个字符。 - 前缀总数（即行数）不超过1000。 #### 使用须知 - **支持的区域** 当前支持在以下区域（Region）进行批量迁移，其它Region请使用线下工具RDA或者咨询其它方案进行迁移。 - 华北-北京四 - 华北-乌兰察布一 - 华南-广州 - 华东-上海一 - 华东-上海二 - 华东-青岛 - 西南-贵阳一 - 中国-香港 - 亚太-新加坡 - **内网迁移** 支持在同一Region内通过内网进行迁移。 - **软连接处理** MgC不支持源端路径为软链接的迁移。如果源端包含软链接，请进行如下处理： - 填写实际的文件路径。 - 迁移完成后，手动在目的端创建相应的软链接。 #### 步骤一：发现并采集源端桶 1. 登录[迁移中心管理控制台](https://console.huaweicloud.com/mgc/?#/guide)。在左侧导航栏的项目下拉列表中选择创建的[应用迁移项目](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0006.html)。 2. 单击左侧导航栏的"资源调研"，进入"资源调研"页面。 3. 选择"在线调研"页签，单击"云平台采集"，进入"云平台采集"参数配置页面。 图1云平台采集 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002301423569.png "点击放大") 4. 根据[表1]，完成**任务配置** 和**基础信息** 区域的参数配置。 表1基础信息和任务配置区域参数配置说明 | 区域 | 参数 | 说明 | |:---|:---|:---| | 任务配置 | 源端 | 选择源端云平台，此处选择"华为云"。 | | 任务配置 | 凭证 | 选择在完成[准备工作]时添加的源端账号凭证，如未提前添加凭证，请单击"**新建凭证** "，认证方式选择"**AK/SK**"，输入源端账号的AK/SK，并保存凭证。 | | 任务配置 | 区域 | 选择源端资源所在区域，支持多选。 | | 任务配置 | 资源类型 | 在下拉列表，选择"**存储** \> **对象存储**"。 | | 基础信息 | 任务名称 | 默认名称规则为：任务类型-当日时间，可修改自定义任务名称。 | | 基础信息 | 任务说明（可选） | 输入任务说明。 | | 基础信息 | 关联到应用（可选） | 选择采集到的资源要加入的应用，通过应用可以将资源进行分组管理。如果下拉列表中无应用，按如下步骤创建： 1. 单击"**新建应用** "，输入自定义的**应用名称** 和**描述。** 2. 选择**业务场景** 和**使用场景** ，**区域**选择目的端所在区域。 3. 单击"**确定**"按钮，完成创建。 | 5. 单击"**确认** "，创建在线调研对象存储资源任务完成，进入任务中心页面，系统自动开始资源采集。 当任务状态为"**成功**"时，采集完成。 #### 步骤二：创建迁移集群 在创建迁移集群时会产生部分其他服务费用，详情请参见[计费说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0094.html)。 ![](https://support.huaweicloud.com/bestpractice-mgc/public_sys-resources/notice_3.0-zh-cn.png) 为了保证迁移的稳定性和数据安全，创建的迁移集群不支持用户自行登录。如您有特殊需求必须登录，请联系技术支持人员。 1. 在左侧导航栏选择"**其他 \> 迁移集群管理** "，进入**迁移集群**管理页面。 2. 单击页面右上角的"**创建集群** "按钮，进入**创建集群** 页面。 如果是首次创建迁移集群，需要您同意华为云账号进行相关的委托授权。单击![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002157302186.png)，可以查看委托权限所包含的细粒度权限。 ![](https://support.huaweicloud.com/bestpractice-mgc/zh-cn_image_0000002192706185.png "点击放大") 3. 根据[表2]，配置参数。 表2集群参数配置说明 | 区域 | 参数 | 配置说明 | 限制说明 | |:---|:---|:---|:---| | 基础配置 | 集群名称 | 自定义名称。 | 同一账户下集群名称不可重名。 | | 基础配置 | 区域 | 选择创建集群的区域。 | 与目的端区域保持一致。 | | 基础配置 | 集群类型 | 选择集群使用场景。 | 当前仅支持存储迁移场景。 | | 节点配置 | 密钥对 | 用于远程登录集群的弹性云服务器时进行身份认证。需要提前创建账号密钥对，方法请参考[创建密钥对](https://support.huaweicloud.com/usermanual-dew/dew_01_0034.html)。 | - | | 节点配置 | 企业项目 | 该参数针对企业用户使用。可以将ECS加入已启用的企业项目。如果当前账号无可用企业项目，则默认创建并使用"default"企业项目。 企业项目管理提供了一种按企业项目管理云资源的方式，帮助您实现以企业项目为基本单元的资源及人员的统一管理，默认项目为default。 关于创建和管理企业项目的详情，请参见[《企业管理用户指南》](https://support.huaweicloud.com/usermanual-em/zh-cn_topic_0131965280.html)。 | - | | 节点配置 | 迁移管理节点ECS规格 | 用于管理迁移节点和列举节点。 | 节点数量为1，无法修改。 | | 节点配置 | 迁移节点ECS规格 | 迁移节点用于执行迁移和对比的动作，推荐规格8U16G。 | - 规格选定后，后续无法更改。 - 设置的节点数量需要同时满足如下要求： - 迁移节点数+列举节点数+1 ≤100 - 迁移节点数+列举节点数+1 ≤子网可用IP数 | | 节点配置 | 列举节点ECS规格 | 列举节点用于执行列举动作，推荐规格8U16G。 | - 规格选定后，后续无法更改。 - 设置的节点数量需要同时满足如下要求： - 迁移节点数+列举节点数+1 ≤100 - 迁移节点数+列举节点数+1 ≤子网可用IP数 | | 网络配置 | 虚拟私有云 | 在下拉列表中选择虚拟私有云。 | - | | 网络配置 | 子网 | 选择与虚拟私有云网段相同且满足可用IP数的子网。 | 子网的可用IP数≥迁移节点数+列举节点数+1。 | | 网络配置 | 模式选择 | - 公网：使用公网迁移，并选择公网网关。如果没有可用网关，选择"新建网关"，选择网关规格和EIP（EIP最多支持同时勾选20个）。 - 内网：使用内网迁移，适用于同一区域内的迁移场景。 - 专线：使用专线迁移，通过专线直接访问源端数据。搭建云专线的方法可参考[云专线最佳实践](https://support.huaweicloud.com/bestpractice-dc/dc_05_1000.html)。 | - | | 高级设置 | DNS配置（可选） | 填写DNS服务器IP地址，用于追加/etc/resolv.conf文件中的nameserver参数值。多个DNS服务器地址使用英文逗号分隔，例如：192.0.2.1,192.0.2.2 | 最多可输入3个DNS服务器地址。 | | 高级设置 | 域名映射配置（可选） | 添加域名到IP地址的映射，用于修改/etc/hosts文件。 | 最多可添加500个IP地址映射。 | | - | 流量控制 | 设置迁移任务在指定时段的最大流量带宽。 - 不勾选，则不进行流量控制 - 勾选，进行流量控制。在"开始时间"、"结束时间"和"限速"文本框中输入数值。 须知： 例如：设置开始时间08：00、结束时间12：00、限制最大流量20 MB/s，当迁移任务运行到（08:00\~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。 | - 最多可添加五条流量控制规则。 - 时区时间以控制台所选Region的当地时间为准。 | | - | 启用LTS服务 | - 启用：记录存储迁移过程中的日志，便于查看和定位迁移中出现的问题。 - 不启用：不记录存储迁移过程中的日志。 | - | 4. 参数配置完成后，单击"**确认** "开始创建集群。在迁移集群列表中查看集群状态，状态详情参见[集群状态说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0097.html)。如果集群状态为创建失败，将鼠标移动到"创建失败"上，可以查看失败原因。在解决失败原因后，可以通过操作列的"更多 \> 重试"功能，重新创建集群。 #### 步骤三：创建对象存储批量迁移任务 1. 在左侧导航栏选择"存储迁移 \> 批量存储迁移"，进入"批量存储迁移"页面。 2. 单击"对象存储 \> 创建迁移任务"按钮，右侧弹出"创建迁移任务"窗口。 3. 系统会默认创建任务名称，您也可以自定义任务名称。输入任务相关描述（可选）。 4. 单击"确认"，对象存储批量迁移任务创建完成并进入任务配置页面的"配置迁移资源"阶段。 #### 步骤四：配置迁移任务 配置迁移任务包括四个阶段：迁移资源配置、迁移参数配置、迁移集群配置和配置确认。 - [阶段一：迁移资源配置] 1. 在"迁移资源配置"页面的"源端平台"下拉列表中，选择源端资源所在平台。待迁移桶列表中的资源所属的平台必须和所选的源端平台一致，且一个计划对应一个目的端区域。 2. "目的端桶区域"下拉列表中，选择目的端桶所在区域。 3. 在**待迁移桶列表** 区域，根据情况选择以下方式添加桶。最多添加20个桶。 - 已通过云平台采集获取源端桶时：单击"**选择源端桶** "按钮，右侧弹出**选择源端桶** 窗口。勾选需要迁移的桶，单击操作列的"**修改** "，调整终端地址，调整完成并勾选后，单击"**确认**"。 - 无法通过云平台采集获取源端桶时：单击"**添加源端桶** "按钮，进行手动添加。根据[表3]，进行参数配置。 表3添加源端桶配置表 | 参数 | 说明 | |:---|:---| | 源端区域 | 下拉菜单中选择源端所在区域。 | | 源端桶名称 | 用户源端桶名称。只支持输入英文、数字、中文、中划线、下划线以及小数点，必须以中文、英文或者数字开头，且不能以小数点开头或结尾。 说明： - 添加的桶名称必须在源端平台存在，否则无法迁移成功。 - 源端区域和源端桶名称不能与已添加的桶重复，否则**校验并保存**失败。 | | 源端桶终端地址 | 输入源端桶所在区域的终端节点（Endpoint）信息。 例如：源端平台选择阿里云OSS，源端桶所在区域为华东1（杭州），则输入"oss-cn-hangzhou.aliyuncs.com"。 | 4. （可选）单击"**凭证加密** "，右侧弹出**凭证加密** 窗口，支持选择是否启用KMS密钥来加密您的源端/目的端凭证。 - 否：不启用KMS密钥来加密您的源端/目的端凭证。 - 是：启用KMS密钥来加密您的源端/目的端凭证。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 5. 在**待迁移桶列表** 中，设置桶类型，源端凭证，目的端桶名称和目的端凭证，源端平台为**腾讯云** 时填写appId。设置完成后单击操作列"**保存** "，也支持多条设置完后单击"**全部保存**"。保存之后支持批量修改。 6. 所有待迁移桶的迁移设置完成并保存后，单击"**下一步**"，进行迁移参数配置。 #### 阶段二：配置迁移参数 1. 在**迁移方式选择** 区域，根据[表4]，设置迁移方式、迁移范围和目的端前缀（可选）等参数。 表4迁移方式和迁移范围说明 | 迁移方式 | 说明 | 迁移范围 | 目的端前缀（可选） | |:---|:---|:---|:---| | 选择"前缀迁移" | 通过对象名称或者名称前缀过滤迁移，只迁移与对象名称或名称前缀一致的对象。 | 不添加源端前缀列表时，默认进行全量迁移。 - 导入源端前缀：导入提前创建的源端前缀列表文件。 - 添加源端前缀：如果未提前创建前缀列表文件，可以选择手动添加前缀。 | 不能以"/"开头，只能添加一个前缀，对象迁移到指定前缀，例如：源端对象路径为/A/B/C.txt，目的端前缀配置为D，迁移后目的端对象路径为/D/A/B/C.txt，前缀字符整体长度不能超过1024。 | 2. （可选）在**源端迁移参数配置** 区域，勾选迁移元数据和解冻归档数据。 ![](https://support.huaweicloud.com/bestpractice-mgc/public_sys-resources/note_3.0-zh-cn.png) 源端为阿里云OSS、腾讯云COS时，支持（可选）勾选**CDN迁移支持**。如果使用了CDN鉴权，还需要选择"鉴权类型"并输入"鉴权密钥"。 3. 在**目的端迁移参数配置** 区域，根据[表5]，进行配置。 表5目的端迁移参数配置表 | 参数 | 子参数 | 说明 | |:---|:---|:---| | 同名覆盖方式 | 对象大小与最后修改时间覆盖 | - 对于文件迁移：源端和目的端存在的同名文件，保留最后修改时间较新的文件；如果最后修改时间相同，比较文件大小，大小不同则源端覆盖目的端文件；如果最后修改时间和大小都相同，则跳过； - 对于文件夹迁移：当文件迁移完成后再比对文件夹大写、时间和权限，如果文件夹大小不同/时间不相同/权限不相同，则源端覆盖目的端文件夹； | | 同名覆盖方式 | 不覆盖 | 对于源端和目的端存在的同名文件，跳过源端文件，保留目的端文件。 警告： 选择"不覆盖"策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会造成部分数据未完全迁移，而任务显示成功的现象，影响数据的完整性。为规避这一风险，请谨慎使用"不覆盖"策略。 | | 同名覆盖方式 | 直接覆盖 | 对于源端和目的端存在的同名文件，源端文件直接覆盖目的端文件。 | | 同名覆盖方式 | CRC64对比覆盖 | 迁移前，对于源端和目的端存在的同名对象，对比源端和目的端对象元数据中的CRC64值，相同则跳过，不同则覆盖。如果源端或目的端对象元数据中不存在CRC64值，则默认使用对象大小与最后修改时间覆盖策略执行。 说明： - 目前对象存储迁移仅支持华为云、阿里云、腾讯云和Azure。 - 目的端OBS桶需开启CRC64特性白名单。 | | 目的端存储类型 | 标准存储 | 存储策略说明请参见[存储类型介绍](https://support.huaweicloud.com/mgc_faq/mgc_04_9015.html)。 说明： 归档和深度归档存储类别不支持CRC64校验。即使一致性校验策略选择为CRC64校验，系统也会自动采用对象大小与最后修改时间的校验策略来执行一致性校验。 | | 目的端存储类型 | 低频访问存储 | 存储策略说明请参见[存储类型介绍](https://support.huaweicloud.com/mgc_faq/mgc_04_9015.html)。 说明： 归档和深度归档存储类别不支持CRC64校验。即使一致性校验策略选择为CRC64校验，系统也会自动采用对象大小与最后修改时间的校验策略来执行一致性校验。 | | 目的端存储类型 | 归档存储 | 存储策略说明请参见[存储类型介绍](https://support.huaweicloud.com/mgc_faq/mgc_04_9015.html)。 说明： 归档和深度归档存储类别不支持CRC64校验。即使一致性校验策略选择为CRC64校验，系统也会自动采用对象大小与最后修改时间的校验策略来执行一致性校验。 | | 目的端存储类型 | 深度归档存储 | 存储策略说明请参见[存储类型介绍](https://support.huaweicloud.com/mgc_faq/mgc_04_9015.html)。 说明： 归档和深度归档存储类别不支持CRC64校验。即使一致性校验策略选择为CRC64校验，系统也会自动采用对象大小与最后修改时间的校验策略来执行一致性校验。 | | 目的端存储类型 | 与源端一致 | 存储策略说明请参见[存储类型介绍](https://support.huaweicloud.com/mgc_faq/mgc_04_9015.html)。 说明： 归档和深度归档存储类别不支持CRC64校验。即使一致性校验策略选择为CRC64校验，系统也会自动采用对象大小与最后修改时间的校验策略来执行一致性校验。 | 4. 在**一致性校验** 区域，选择一致性校验方式。 - 对象大小与最后修改时间校验：默认配置，通过对比源端和目的端对象大小与最后修改时间，判断迁移后数据是否完整。 - CRC64校验：通过对比源端和目的端对象元数据中CRC64值，校验数据一致性。当源端数据或目的端数据未含CRC64，OMS会生成CRC64值。注意：CRC64校验可能会产生额外的外网流量费用和请求费用。详见[一致性校验说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3603.html#section10)。 ![](https://support.huaweicloud.com/bestpractice-mgc/public_sys-resources/note_3.0-zh-cn.png) - 目前对象存储迁移仅支持华为云、阿里云、腾讯云和Azure。 - 目的端OBS桶需开启CRC64特性白名单。 5. 在**迁移任务参数配置** 区域，根据[表6]，进行配置。 表6迁移任务参数配置表 | 参数 | 说明 | |:---|:---| | 并发子任务数 | 用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。 | | （可选）流量控制 | 设置迁移任务在指定时段的最大流量带宽。 - 不勾选，不进行流量控制。 - 勾选，进行流量控制。分别设置"开始时间"、"结束时间"和"限速"数值。 例如：设置开始时间08：00、结束时间12：00、限速为20 MB/s，当迁移任务运行到（08:00\~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。 说明： - 限速的数值范围：1\~1048576 MB/s 。 - 创建多条限速规则时，限速时段不能重叠。 例如：已有一条规则，限速时段是8:00\~12:00，那么7:00\~13:00，7:00\~8:00，9:00\~12:00...有时间重叠的规则，都无法创建成功。 - 开始时间不能晚于等于结束时间。 例如：不能设置时间段为23:00\~次日01:00。 - 最多可以创建5条记录。 - 时区时间以目的端Region的当地时间为准。 | 6. （可选）根据[表7]，配置高级选项。 表7高级选项参数说明 | 参数 | 说明 | |:---|:---| | KMS加密 | - 不勾选，迁移后对象状态与目的端桶级服务端加密状态保持一致。 - 勾选，所有对象在迁移到OBS桶后都将被加密存储。 说明： - 使用KMS服务端加密可能会降低迁移速率10%左右。 - 目的端桶所在区域支持KMS加密时，此参数才可用。 | | 过滤配置 | 通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见[过滤策略说明](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3603.html#section9)。 | | SMN消息发送配置 | 选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。 - 不勾选，不接收SMN消息。 - 勾选，接收SMN消息。选择SMN主题，会向该主题的订阅者发送消息；选择消息发送语言；选择发送消息的触发条件，支持同时勾选。 | | 增量迁移 | - 不勾选，不增量迁移。 - 勾选，配置增量迁移同名覆盖方式和增量迁移模式，详细配置方法参考[配置增量迁移](https://support.huaweicloud.com/usermanual-mgc/mgc_03_3604.html#section10)。 | 7. 迁移参数配置完成后，单击"**下一步** "按钮，进入**迁移集群配置**页面。 #### 阶段三：配置迁移集群 1. 在**绑定方式**区域，选择"已有集群，直接绑定"。 2. 在**绑定迁移集群** 区域，选择[步骤二创建的迁移集群]。如果需要对集群进行修改，单击"操作"列的"前往修改"，并参考[集群管理](https://support.huaweicloud.com/usermanual-mgc/mgc_03_0095.html)进行修改。 3. 迁移集群配置完成后，单击"**下一步** "按钮，进入**配置确认**页面。 - [阶段四：配置确认] 1. 在"配置确认"页面，仔细检查资源配置和迁移配置，确保完全符合您的实际需求。如果需要修改配置，单击"上一步"，返回对应阶段进行修改。 2. 在"配置确认"页面，确认资源配置和迁移配置无误，并确保所有配额满足要求后，单击"配置完成"按钮，弹出"启动迁移任务"窗口。此时迁移任务已创建成功，请选择是否立即启动迁移。 - **立即启动**：如果您希望立即开始迁移，则单击"确认"按钮，启动迁移任务。 - **暂不启动**：如果您希望仅保存迁移任务配置暂不启动迁移，则单击"取消"按钮，此时迁移任务状态为"待启动"，并未开始迁移。后续在迁移任务列表中，单击"任务状态"列的"启动"按钮，可以手动启动迁移。 #### 步骤五：跟踪迁移任务 在迁移任务列表，单击任务名称，进入"任务详情"页面，可以查看该迁移任务的状态，进展以及所包含资源的迁移进度。以下为您可以对任务中的资源进行的相关操作： - **查看资源迁移信息**：单击资源名称，右侧弹出"资源迁移详情"窗口，可以查看该资源的迁移"基本信息"，"运行状态"和"资源迁移进度"等信息。 - **步骤确认** ：当资源的运行步骤到达需要**手动** **确认** 的步骤时，单击对应资源"迁移状态"列或"操作"列的"确认"按钮，迁移任务才会继续进行后续迁移步骤。 ![](https://support.huaweicloud.com/bestpractice-mgc/public_sys-resources/note_3.0-zh-cn.png) 迁移任务包含的迁移阶段和步骤的详细信息，可以在"任务详情"页面的右上角单击"查看任务模板"进行查看。