OBS多前缀批量迁移
本文将详细介绍如何使用前缀列表文件（包含多个前缀的列表文件）来筛选并批量迁移OBS桶内的对象。
准备工作
- 使用MgC之前，您需要拥有一个华为云账号或一个可用于访问MgC的IAM用户，获取方法请参见准备工作。
- 在MgC控制台创建应用迁移项目。
- 将源端资源所在账号的AK/SK和目的端桶所在账号的AK/SK分别添加到MgC。添加方法请参考凭证管理，认证方式选择AK/SK 。源端AK/SK作为采集源端资源的凭证，目的端AK/SK作为迁移凭证。
- 确保源端账号AK/SK和目的端账号AK/SK拥有迁移需要的权限，详细介绍请参见如何获取源端桶和目的端桶权限？
- 在华为云创建用于接收源端对象存储数据的OBS桶（即目的端桶），创建方法请参考创建桶。如果您已有目的端桶，则无需重新创建。
- 创建前缀列表文件。
为每个待迁移的源端桶，创建一个对应的前缀列表文件（即一个桶对应一个前缀列表文件），前缀列表文件要求如下：
- 文件格式为.txt，大小不超过2 MB。
- 每行只能包含一个前缀，每个前缀的长度不超过1024个字符。
- 前缀总数（即行数）不超过1000。
使用须知
- 支持的区域 当前支持在以下区域（Region）进行批量迁移，其它Region请使用线下工具RDA或者咨询其它方案进行迁移。
- 华北-北京四
- 华北-乌兰察布一
- 华南-广州
- 华东-上海一
- 华东-上海二
- 华东-青岛
- 西南-贵阳一
- 中国-香港
- 亚太-新加坡
- 内网迁移
支持在同一Region内通过内网进行迁移。
- 软连接处理 MgC不支持源端路径为软链接的迁移。如果源端包含软链接，请进行如下处理：
- 填写实际的文件路径。
- 迁移完成后，手动在目的端创建相应的软链接。
步骤一：发现并采集源端桶
- 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。
- 单击左侧导航栏的，进入“资源调研”页面。
- 选择“在线调研”页签，单击“云平台采集”，进入“云平台采集”参数配置页面。 图1 云平台采集
- 根据表1，完成任务配置和基础信息区域的参数配置。
表1 基础信息和任务配置区域参数配置说明 区域
参数
说明
任务配置
源端
选择源端云平台，此处选择“华为云”。
凭证
选择在完成准备工作时添加的源端账号凭证，如未提前添加凭证，请单击“新建凭证”，认证方式选择“AK/SK”，输入源端账号的AK/SK，并保存凭证。
区域
选择源端资源所在区域，支持多选。
资源类型
在下拉列表，选择“存储 > 对象存储”。
基础信息
任务名称
默认名称规则为：任务类型-当日时间，可修改自定义任务名称。
任务说明（可选）
输入任务说明。
关联到应用（可选）
选择采集到的资源要加入的应用，通过应用可以将资源进行分组管理。如果下拉列表中无应用，按如下步骤创建：
- 单击“新建应用”，输入自定义的应用名称和描述。
- 选择业务场景和使用场景，区域选择目的端所在区域。
- 单击“确定”按钮，完成创建。
- 单击“确认”，创建在线调研对象存储资源任务完成，进入任务中心页面，系统自动开始资源采集。
当任务状态为“成功”时，采集完成。
步骤二：创建迁移集群
在创建迁移集群时会产生部分其他服务费用，详情请参见计费说明。
为了保证迁移的稳定性和数据安全，创建的迁移集群不支持用户自行登录。如您有特殊需求必须登录，请联系技术支持人员。
- 在左侧导航栏选择“其他 > 迁移集群管理”，进入迁移集群管理页面。
- 单击页面右上角的“创建集群”按钮，进入创建集群页面。
如果是首次创建迁移集群，需要您同意华为云账号进行相关的委托授权。单击
，可以查看委托权限所包含的细粒度权限。
- 根据表2，配置参数。
表2 集群参数配置说明 区域
参数
配置说明
限制说明
基础配置
集群名称
自定义名称。
同一账户下集群名称不可重名。
区域
选择创建集群的区域。
与目的端区域保持一致。
集群类型
选择集群使用场景。
当前仅支持存储迁移场景。
节点配置
密钥对
用于远程登录集群的弹性云服务器时进行身份认证。需要提前创建账号密钥对，方法请参考创建密钥对。
-
企业项目
该参数针对企业用户使用。可以将ECS加入已启用的企业项目。如果当前账号无可用企业项目，则默认创建并使用“default”企业项目。
企业项目管理提供了一种按企业项目管理云资源的方式，帮助您实现以企业项目为基本单元的资源及人员的统一管理，默认项目为default。
关于创建和管理企业项目的详情，请参见《企业管理用户指南》。
-
迁移管理节点ECS规格
用于管理迁移节点和列举节点。
节点数量为1，无法修改。
迁移节点ECS规格
迁移节点用于执行迁移和对比的动作，推荐规格8U16G。
- 规格选定后，后续无法更改。
- 设置的节点数量需要同时满足如下要求：
- 迁移节点数+列举节点数+1 ≤100
- 迁移节点数+列举节点数+1 ≤子网可用IP数
列举节点ECS规格
列举节点用于执行列举动作，推荐规格8U16G。
网络配置
虚拟私有云
在下拉列表中选择虚拟私有云。
-
子网
选择与虚拟私有云网段相同且满足可用IP数的子网。
子网的可用IP数≥迁移节点数+列举节点数+1。
模式选择
- 公网：使用公网迁移，并选择公网网关。如果没有可用网关，选择“新建网关”，选择网关规格和EIP（EIP最多支持同时勾选20个）。
- 内网：使用内网迁移，适用于同一区域内的迁移场景。
- 专线：使用专线迁移，通过专线直接访问源端数据。搭建云专线的方法可参考云专线最佳实践。
-
高级设置
DNS配置（可选）
填写DNS服务器IP地址，用于追加/etc/resolv.conf文件中的nameserver参数值。多个DNS服务器地址使用英文逗号分隔，例如：192.0.2.1,192.0.2.2
最多可输入3个DNS服务器地址。
域名映射配置（可选）
添加域名到IP地址的映射，用于修改/etc/hosts文件。
最多可添加500个IP地址映射。
-
流量控制
设置迁移任务在指定时段的最大流量带宽。
- 不勾选，则不进行流量控制
- 勾选，进行流量控制。在“开始时间”、“结束时间”和“限速”文本框中输入数值。 须知：
例如：设置开始时间08：00、结束时间12：00、限制最大流量20 MB/s，当迁移任务运行到（08:00~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。
- 最多可添加五条流量控制规则。
- 时区时间以控制台所选Region的当地时间为准。
启用LTS服务
- 启用：记录存储迁移过程中的日志，便于查看和定位迁移中出现的问题。
- 不启用：不记录存储迁移过程中的日志。
-
- 参数配置完成后，单击“确认”开始创建集群。在迁移集群列表中查看集群状态，状态详情参见集群状态说明。如果集群状态为创建失败，将鼠标移动到“创建失败”上，可以查看失败原因。在解决失败原因后，可以通过操作列的“更多 > 重试”功能，重新创建集群。
步骤三：创建对象存储批量迁移任务
- 在左侧导航栏选择，进入“批量存储迁移”页面。
- 单击“对象存储 > 创建迁移任务”按钮，右侧弹出“创建迁移任务”窗口。
- 系统会默认创建任务名称，您也可以自定义任务名称。输入任务相关描述（可选）。
- 单击“确认”，对象存储批量迁移任务创建完成并进入任务配置页面的“配置迁移资源”阶段。
步骤四：配置迁移任务
配置迁移任务包括四个阶段：迁移资源配置、迁移参数配置、迁移集群配置和配置确认。
阶段二：配置迁移参数
- 在迁移方式选择区域，根据表4，设置迁移方式、迁移范围和目的端前缀（可选）等参数。
- （可选）在源端迁移参数配置区域，勾选迁移元数据和解冻归档数据。
源端为阿里云OSS、腾讯云COS时，支持（可选）勾选CDN迁移支持。如果使用了CDN鉴权，还需要选择“鉴权类型”并输入“鉴权密钥”。
- 在目的端迁移参数配置区域，根据表5，进行配置。
表5 目的端迁移参数配置表 参数
子参数
说明
同名覆盖方式
对象大小与最后修改时间覆盖
- 对于文件迁移：源端和目的端存在的同名文件，保留最后修改时间较新的文件；如果最后修改时间相同，比较文件大小，大小不同则源端覆盖目的端文件；如果最后修改时间和大小都相同，则跳过；
- 对于文件夹迁移：当文件迁移完成后再比对文件夹大写、时间和权限，如果文件夹大小不同/时间不相同/权限不相同，则源端覆盖目的端文件夹；
不覆盖
对于源端和目的端存在的同名文件，跳过源端文件，保留目的端文件。
警告：选择“不覆盖”策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会造成部分数据未完全迁移，而任务显示成功的现象，影响数据的完整性。为规避这一风险，请谨慎使用“不覆盖”策略。
直接覆盖
对于源端和目的端存在的同名文件，源端文件直接覆盖目的端文件。
CRC64对比覆盖
迁移前，对于源端和目的端存在的同名对象，对比源端和目的端对象元数据中的CRC64值，相同则跳过，不同则覆盖。如果源端或目的端对象元数据中不存在CRC64值，则默认使用对象大小与最后修改时间覆盖策略执行。
说明：- 目前对象存储迁移仅支持华为云、阿里云、腾讯云和Azure。
- 目的端OBS桶需开启CRC64特性白名单。
目的端存储类型
标准存储
存储策略说明请参见存储类型介绍。
说明：归档和深度归档存储类别不支持CRC64校验。即使一致性校验策略选择为CRC64校验，系统也会自动采用对象大小与最后修改时间的校验策略来执行一致性校验。
低频访问存储
归档存储
深度归档存储
与源端一致
- 在一致性校验区域，选择一致性校验方式。
- 对象大小与最后修改时间校验：默认配置，通过对比源端和目的端对象大小与最后修改时间，判断迁移后数据是否完整。
- CRC64校验：通过对比源端和目的端对象元数据中CRC64值，校验数据一致性。当源端数据或目的端数据未含CRC64，OMS会生成CRC64值。注意：CRC64校验可能会产生额外的外网流量费用和请求费用。详见一致性校验说明。
- 目前对象存储迁移仅支持华为云、阿里云、腾讯云和Azure。
- 目的端OBS桶需开启CRC64特性白名单。
- 在迁移任务参数配置区域，根据表6，进行配置。
- （可选）根据表7，配置高级选项。
表7 高级选项参数说明 参数
说明
KMS加密
- 不勾选，迁移后对象状态与目的端桶级服务端加密状态保持一致。
- 勾选，所有对象在迁移到OBS桶后都将被加密存储。
说明：- 使用KMS服务端加密可能会降低迁移速率10%左右。
- 目的端桶所在区域支持KMS加密时，此参数才可用。
过滤配置
通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。
SMN消息发送配置
选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。
- 不勾选，不接收SMN消息。
- 勾选，接收SMN消息。选择SMN主题，会向该主题的订阅者发送消息；选择消息发送语言；选择发送消息的触发条件，支持同时勾选。
增量迁移
- 不勾选，不增量迁移。
- 勾选，配置增量迁移同名覆盖方式和增量迁移模式，详细配置方法参考配置增量迁移。
- 迁移参数配置完成后，单击“下一步”按钮，进入迁移集群配置页面。
步骤五：跟踪迁移任务
- 查看资源迁移信息：单击资源名称，右侧弹出“资源迁移详情”窗口，可以查看该资源的迁移“基本信息”，“运行状态”和“资源迁移进度”等信息。
- 步骤确认：当资源的运行步骤到达需要手动确认的步骤时，单击对应资源“迁移状态”列或“操作”列的“确认”按钮，迁移任务才会继续进行后续迁移步骤。
迁移任务包含的迁移阶段和步骤的详细信息，可以在“任务详情”页面的右上角单击“查看任务模板”进行查看。
