OBS多前缀批量迁移
本文将详细介绍如何使用前缀列表文件（包含多个前缀的列表文件）来筛选并批量迁移OBS桶内的对象。
准备工作
- 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，获取方法请参见准备工作。
- 在MgC控制台创建项目。
- 将源端云平台账号对应的AK/SK添加至MgC，作为采集源端桶的凭证。认证方式选择AK/SK ，添加方法请参考添加资源凭证。
- 确保源端账号和目的端账号拥有迁移需要的权限，详细介绍请参见如何获取源端桶和目的端桶权限？。
- 在华为云创建用于接收源端对象存储数据的OBS桶（即目的端桶），创建方法请参考创建桶。如果您已有目的端桶，则无需重新创建。
- 为每个待迁移的源端桶，创建一个对应的前缀列表文件（即一个桶对应一个前缀列表文件），前缀列表文件要求如下：
- 文件格式为.txt，大小不超过2 MB。
- 每行只能包含一个前缀，每个前缀的长度不超过1024个字符。
- 前缀总数（即行数）不超过1000。
使用须知
- 支持的区域
当前支持在以下区域（Region）进行批量迁移，其它Region请使用线下工具RDA或者咨询其它方案进行迁移。
- 拉美-圣地亚哥
- 拉美-圣保罗
- 土耳其-伊斯坦布尔
- 亚太-曼谷
- 亚太-新加坡
- 亚太-雅加达
- 中东-利雅得
- 华北-北京四
- 华东-上海一
- 内网迁移
支持在同一Region内通过内网进行迁移。
- 软连接处理
MgC不支持源端路径为软链接的迁移。如果源端包含软链接，请进行如下处理：
- 填写实际的文件路径。
- 迁移完成后，手动在目的端创建相应的软链接。
步骤一：发现并采集源端桶
- 登录迁移中心管理控制台。
- 单击左侧导航栏的“调研>资源采集”，进入资源采集页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
- 单击任务框中的“发现>公网发现”，进入创建公网发现任务页面。
图1 公网发现
- 根据表1，完成基础配置和任务配置区域的参数配置。
- 在资源发现区域的资源类型下拉列表，选择“对象存储”。源端为阿里云和腾讯云平台时，需要开启“云平台采集”，才能选择资源类型。
- 将采集的对象存储资源关联到应用中。
- 如果已提前创建应用，在“应用”的下拉列表中选择要关联的应用。
- 未提前创建应用，单击“新建应用”，弹出新建应用窗口，输入自定义的应用名称和描述，选择业务场景和使用场景；区域选择目的端所在区域，单击“确定”按钮，应用创建成功。
- 单击“确认”，创建公网采集对象存储资源任务完成，系统自动开始资源采集。
- 在资源采集页面，单击任务总数后的“查看”，进入任务列表页面。
当任务状态为“成功”时，采集完成。
步骤二：创建集群
在创建迁移集群时会产生部分其他服务费用，详情请参见计费说明。
为了保证迁移的稳定性和数据安全，创建的迁移集群不支持用户自行登录。如您有特殊需求必须登录，请联系技术支持人员。
- 登录迁移中心管理控制台。
- 在左侧导航栏选择“部署>迁移集群”，进入迁移集群页面。
- 单击页面右上角的“创建集群”按钮，进入创建集群页面。
如果是首次创建迁移集群，需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。
- 根据表2，配置参数。
表2 集群参数配置说明 区域
参数
配置说明
限制说明
基础配置
集群名称
自定义名称。
同一账户下集群名称不可重名。
区域
选择创建集群的区域。
与目的端区域保持一致。
集群类型
选择集群使用场景。
当前仅支持存储迁移场景。
节点创建
Master节点ECS规格
用于管理迁移节点和列举节点。
节点数量为1，无法修改。
迁移节点ECS规格
迁移节点用于执行迁移和对比的动作，推荐规格8U16G。
- 规格选定后，后续无法更改。
- 设置的节点数量需要同时满足如下要求：
- 迁移节点数+列举节点数+1 ≤100
- 迁移节点数+列举节点数+1 ≤子网可用IP数
列举节点ECS规格
列举节点用于执行列举动作，推荐规格8U16G。
网络配置
虚拟私有云
在下拉列表中选择虚拟私有云。
-
子网
选择与虚拟私有云网段相同且满足可用IP数的子网。
子网的可用IP数≥迁移节点数+列举节点数+1。
模式选择
- 公网：使用公网迁移，并选择公网网关。如果没有可用网关，选择“新建网关”，选择网关规格和EIP（EIP最多支持同时勾选20个）。
- 内网：使用内网迁移，适用于同一区域内的迁移场景。
- 专线：使用专线迁移，通过专线直接访问源端数据。搭建云专线的方法可参考云专线 DC。
-
高级设置
DNS配置（可选）
填写DNS服务器IP地址，用于追加/etc/resolv.conf文件中的nameserver参数值。多个DNS服务器地址使用英文逗号分隔，例如：192.0.2.1,192.0.2.2
最多可输入3个DNS服务器地址。
域名映射配置（可选）
添加域名到IP地址的映射，用于修改/etc/hosts文件。
最多可添加500个IP地址映射。
-
流量控制
设置迁移任务在指定时段的最大流量带宽。
- 不勾选，则不进行流量控制
- 勾选，进行流量控制。在“开始时间”、“结束时间”和“限速”文本框中输入数值。
须知：
例如：设置开始时间08：00、结束时间12：00、限制最大流量20 MB/s，当迁移任务运行到（08:00~12:00）该时间段时，最大迁移速度将限制为20 MB/s。该时间段以外，迁移速度不做限制。
- 最多可添加五条流量控制规则。
- 时区时间以控制台所选Region的当地时间为准。
启用LTS服务
- 启用：记录存储迁移过程中的日志，便于查看和定位迁移中出现的问题。
- 不启用：不记录存储迁移过程中的日志。
-
- 参数配置完成后，单击“确认”开始创建集群。在迁移集群列表中查看集群状态，状态详情参见集群状态说明。如果集群状态为创建失败，将鼠标移动到“创建失败”上，可以查看失败原因。在解决失败原因后，可以通过操作列的“更多 > 重试”功能，重新创建集群。
步骤三：迁移方案配置
- 登录迁移中心管理控制台。
- 在左侧导航栏选择“设计>迁移方案配置”，进入迁移方案配置页面。单击页面右上角的“创建迁移方案”按钮，右侧弹出迁移方案模板窗口。
- 单击对象存储批量迁移框中的“开始配置”按钮，进入对象存储批量迁移页面。
- 在基础配置区域，根据表3，配置相关参数。
表3 基础配置参数配置说明 参数
配置说明
方案名称
用户自定义。
描述（可选）
用户自定义。
源端平台
与步骤一采集对象存储资源时，所选的源端云平台保持一致。此处选择“华为云”。
目的端桶区域
选择目的端桶所在区域。
- 在待迁移桶列表区域，单击“添加桶”按钮，右侧弹出添加桶窗口。
- 勾选需要迁移的桶，单击操作列的“修改”，调整桶的迁移方式为“前缀迁移”，单击“确认”，添加该桶到待迁移桶列表中。
- 所选的资源必须都来源于基础配置所选的源端平台。
- 最多添加 100 个桶。
- 绑定源端凭证。
- 单个绑定源端凭证：在待迁移桶列表中，单击每一行操作列的“修改”，在弹出的修改迁移设置窗口中选择源端凭证进行绑定。
- 批量绑定源端凭证：在列表中勾选多个桶，单击列表上方“批量绑定凭证”按钮，批量绑定源端凭证。
- 导入前缀列表文件。
在待迁移桶列表中，单击每一行操作列的“导入前缀”，弹出导入前缀窗口。将该桶对应的前缀列表文件上传后，单击“确认”按钮。
- 完成所有待迁移桶的凭证绑定和前缀列表导入后，单击“下一步”，进行目的端配置。
- 单击每一行操作列的“修改”，选择目的端凭证和目的端桶，输入目的端前缀（可选），单击“保存”。
- 所有资源的目的端配置完成后，单击“下一步”，进行集群评估。集群评估为可选操作，您可以跳过该步骤，也可以通过评估，获取推荐的集群规格后，对创建的集群进行修改，请参考集群管理。
- 单击“下一步”，进入集群配置，单击“立即绑定”，右侧弹出集群选择窗口。
- 在集群列表中，选择步骤二创建的集群，单击“确认”，完成集群绑定，绑定后本方案下所有资源将通过此集群迁移。
只有集群状态为健康或者亚健康时，可以进行选择该集群进行绑定。
- 集群配置完成后，单击“确定”，迁移方案创建完成。在迁移方案配置页面的方案列表，可以查看已创建的迁移方案。
- 如果需要对迁移方案配置进行调整，可以单击操作列的“设计”进行修改。
- 当设计进度为已完成时，单击操作列的“创建工作流”，即可创建对象存储批量迁移工作流。
步骤四：创建对象存储批量迁移工作流
- 单个对象大小不能超过：500 MB x 10000 = 4.76837158203125 TB，否则可能会导致迁移失败。
- 在迁移过程中，系统将自动在目的端桶创建一个名为“oms”的临时文件夹。严禁手动操作此文件夹，包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。
- 登录迁移中心管理控制台。
- 在左侧导航栏选择“实施>迁移工作流”，进入迁移工作流页面。
- 单击页面右上角的“创建迁移工作流”按钮，进入选择模板页面。
- 选择对象存储批量迁移模板，单击“开始配置”按钮，进行工作流配置。
- 在基础信息区域，输入自定义的工作流名称和描述。
- 在迁移方案区域，选择步骤三创建的迁移方案。选择方案后，可以看到该方案的配置概览。单击“查看详情”，可以查看该方案的更多信息。
- 在迁移集群区域，选择迁移使用的集群。默认使用迁移方案中配置的集群，您也可以在下拉列表中重新选择集群，选择后仅对当前工作流生效，不会修改迁移方案中配置的集群。
- 根据表4，进行迁移配置。
表4 迁移配置参数说明 参数
子参数
说明
并发子任务数
-
用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。
同名覆盖方式
不覆盖
对于源端和目的端存在的同名文件，跳过源端文件，保留目的端文件。
警告：- 首次迁移时选择“不覆盖”，不会迁移源端中父文件夹的属性到目的端，可能会造成文件夹属性不完整。为规避这一风险，首次迁移时请谨慎使用“不覆盖”策略。
- 选择“不覆盖”策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会造成部分数据未完全迁移，而任务显示成功的现象，影响数据的完整性。为规避这一风险，请谨慎使用“不覆盖”策略。
直接覆盖
对于源端和目的端存在的同名文件，源端文件直接覆盖目的端文件。
条件覆盖
- 对于文件迁移：源端和目的端存在的同名文件，保留最后修改时间较新的文件；如果最后修改时间相同，比较文件大小，大小不同则源端覆盖目的端文件；如果最后修改时间和大小都相同，则跳过；
- 对于文件夹迁移：当文件迁移完成后再比对文件夹大写、时间和权限，如果文件夹大小不同/时间不相同/权限不相同，则源端覆盖目的端文件夹；
说明：
对于空文件夹，覆盖策略与文件相同。
迁移元数据
-
选择是否迁移元数据。
- 勾选，则迁移源端对象元数据。
- 不勾选，仅迁移Content-Type、Content-Encoding元数据。
- （可选）根据表5，配置高级选项。
表5 高级选项参数说明 参数
说明
目的端存储类型
选择迁移到华为云OBS后，对象的存储类型。存储策略说明请参见存储类型介绍。
KMS加密
- 不勾选，迁移后对象状态与目的端桶级服务端加密状态保持一致。
- 勾选，所有对象在迁移到OBS桶后都将被加密存储。
说明：- 使用KMS服务端加密可能会降低迁移速率10%左右。
- 目的端桶所在区域支持KMS加密时，此参数才可用。
解冻归档数据
- 不勾选：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。
- 勾选：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。
说明：在数据迁移时，系统会对所有数据发起取回操作，源端云服务商会收取相应的API调用费用和存储费用。
过滤配置
通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。
CDN迁移支持
当默认域名不能满足您的迁移需求，比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用，可以勾选此选项。在域名输入框中输入自定义域名，并选择传输协议。HTTP协议安全级别低于HTTPS协议，推荐使用HTTPS协议。
源端为阿里云OSS、腾讯云COS时，如果使用了CDN鉴权，还需要选择“鉴权类型”并输入“鉴权密钥”。
SMN消息发送配置
选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。
- 不勾选，不接收SMN消息。
- 勾选，接收SMN消息。选择SMN主题，会向该主题的订阅者发送消息；选择消息发送语言；选择发送消息的触发条件，支持同时勾选。
流量控制
设置迁移任务在指定时段的最大流量带宽。
- 不勾选，不进行流量控制。
- 勾选，进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。
- 工作流配置完成后，单击“下一步：确认并创建”按钮，进入确认并创建页面。
- 确认配置信息无误后，单击“确认创建工作流”，弹出启动工作流窗口，此时工作流已创建完成。
- 如果您希望立即开始迁移，则单击“确认”按钮，立即运行工作流。
- 如果您需要在工作流中添加阶段/步骤，则单击“取消”，此时迁移工作流状态为“等待中”，并未开始迁移。确定工作流步骤后，单击“运行”按钮，开始迁移。
- 在工作流详情页面，可以查看该工作流的配置信息和资源迁移进度。还可以进行如下操作：
- 将鼠标移动到资源迁移进度条，在弹窗中可以查看该资源更多迁移信息。
- 当迁移步骤（进度条）到达需要手动确认的步骤时，您需要将鼠标移动到进度条上，并在弹出的窗口中单击步骤状态后的“确认”。只有完成这一操作，系统才会继续进行后续的迁移步骤。
- 在基础信息区域，单击集群名称后的“管理”，右侧弹出集群详细信息页面。在这个页面上，您可以进行如下操作：
- 设置流量控制规则：您可以添加、编辑或删除流量控制规则，以确保集群内的流量按照您的需求进行管理。
- 节点管理：您可以根据实际需求，添加/删除迁移节点和列举节点，也可以对现有节点进行插件升级。
步骤五：清理集群（可选）
当您完成数据迁移并且集群不再需要时，可以直接删除闲置的集群以释放资源。方法请参考删除集群。
