批量对象存储迁移
什么是批量对象存储迁移
批量对象存储迁移服务提供专属迁移集群和专线，支持批量创建对象存储数据迁移任务，实现对象存储数据的高效迁移。适用于源端有多个对象存储桶资源需要迁移的场景。使用独享集群会产生一定费用，详细费用说明请参考迁移集群费用说明。
风险提示
在创建迁移任务时，对于源端和目的端的同名对象，我们提供了四种覆盖策略：对象大小与最后修改时间覆盖、不覆盖、直接覆盖和CRC64对比覆盖。选择“不覆盖”策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会出现部分数据未完全迁移，但任务显示 “成功” 的情况。影响数据的完整性。为规避这一风险，请谨慎使用“不覆盖”策略。
约束与限制
- 创建迁移任务时，待迁移桶列表中的资源所属的平台必须和所选的源端平台一致，且一个迁移任务对应一个目的端区域。
- 一个源端桶资源可以关联多个计划。
- 在一个迁移任务下，一个桶资源的目的端前缀只能有一个，但是源端前缀可以有多个。
- 同一用户在同一个迁移任务下同时支持迁移的桶数量不超过20个。
关于更多存储迁移的约束与限制请参考存储迁移相关约束与限制。
操作流程
批量对象存储迁移的完整操作流程，请参见表1。
|
步骤 |
说明 |
|---|---|
|
|
|
通过资源列表中的方式，完成对象存储资源的发现与采集。 |
|
|
创建批量对象存储迁移任务。该步骤仅创建了迁移任务模板，还需要完成任务配置。 |
|
|
配置迁移任务，包括迁移资源配置、迁移参数配置、迁移集群配置和配置确认等操作。 |
|
|
启动迁移任务后，查看迁移任务内资源的运行状态、迁移阶段和迁移步骤等信息。 |
准备工作
在创建批量对象存储迁移任务之前，请参照表2提前完成准备工作。
|
事项 |
方法和要求 |
|---|---|
|
账号和权限准备 |
|
|
获取源端账号AK/SK |
进行资源采集时，需要使用源端账号的AK/SK进行鉴权认证。获取源端账号AK/SK的方法请参见 |
|
创建应用迁移项目 |
创建独立的迁移项目，将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。具体操作，请参见创建应用迁移项目。 |
|
创建目的端对象桶 |
创建目的端对象桶，确保存储工作流顺利运行。具体操作请参见目的端对象桶。 |
|
创建迁移集群 |
迁移集群是专为存储工作流提供协作中的核心组件，通过集群可以创建和管理迁移节点、列举节点，部署和升级迁移插件，确保存储工作流顺利运行。具体操作请参见创建迁移集群。 |
步骤一：采集源端资源
- 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。
- 单击左侧导航栏的，进入“资源调研”页面。
- 选择“在线调研”页签，单击“云平台采集”，进入“云平台采集”参数配置页面。
图1 云平台采集
- 根据表3，配置采集任务参数。
表3 云平台采集参数说明 区域
参数
说明
任务配置
源端
选择“华为云”。
采集方式
凭证：在下拉列表中选择源端主机所在账号的凭证（AK/SK），如未提前添加凭证，请按照以下步骤添加：
- 单击“新建凭证”，填写自定义的凭证名称。
- 认证方式选择“AK/SK”，然后输入源端账号的AK/SK。
- 单击“保存”。
委托：通过云服务委托，将操作权限赋予MgC服务，使其能以您的身份获取当前账号下的资源。包含的委托权限说明请查看云平台采集委托权限说明。
采集方式选择委托。如委托状态为“尚未委托”时，单击“立即委托”，右侧弹出委托授权页面，单击“同意授权”，完成委托授权后，委托状态显示为“已委托”。
区域
选择源端主机所在的区域，支持多选。
资源类型
在下拉列表中勾选“主机”。
基础信息
任务名称
默认名称规则为：任务类型-当日时间，可修改自定义任务名称。
任务说明（可选）
输入任务说明。
关联到应用（可选）
选择采集到的资源要加入的应用，通过应用可以将资源进行分组管理。适用于少量资源直接使用应用进行分组，便于进行后续批量操作（如上云评估，迁移等）。如果下拉列表中无应用，按如下步骤创建：
- 单击“新建应用”，默认“应用名称”和自定义“描述”。
- “业务场景”根据实际情况选择。
- “使用场景”根据实际情况选择。
- “区域”选择目的端所在区域。
- 单击“确定”按钮，完成创建。
- 单击“确认”，在线调研任务创建完成，进入采集任务中心页面，系统自动开始资源发现。
- 当任务状态为“成功”时，返回“资源列表”页面，查看发现的源端资源列表和资源详情。
- 当任务状态为“失败”时，单击任务名称，查看采集失败的数据源，将鼠标放到失败数据源的采集状态上，可以查看失败原因。
步骤二：创建迁移任务
- 在左侧导航栏选择，进入“批量存储迁移”页面。
- 单击“对象存储 > 创建迁移任务”按钮，右侧弹出“创建迁移任务”窗口。
- 系统会默认创建任务名称，您也可以自定义任务名称。输入任务相关描述（可选）。
- 单击“确认”，对象存储批量迁移任务创建完成并进入任务配置页面的“配置迁移资源”阶段。参考步骤三，完成迁移任务配置。
- 在“迁移资源配置”页面的“源端平台”下拉列表中，选择源端资源所在平台。待迁移桶列表中的资源所属的平台必须和所选的源端平台一致，且一个计划对应一个目的端区域。
- “目的端桶区域”下拉列表中，选择目的端桶所在区域。
- 在待迁移桶列表区域，根据情况选择以下方式添加桶。最多添加20个桶。
- 已通过云平台采集获取源端桶时：单击“选择源端桶”按钮，右侧弹出选择源端桶窗口。勾选需要迁移的桶，单击操作列的“修改”，调整终端地址，调整完成并勾选后，单击“确认”。
- 无法通过云平台采集获取源端桶时：单击“添加源端桶”按钮，进行手动添加。根据表4，进行参数配置。
- 在待迁移桶列表中，设置桶类型，源端凭证，目的端桶名称和目的端凭证，源端平台为腾讯云时填写appId。设置完成后单击操作列“保存”，也支持多条设置完后单击“全部保存”。保存之后支持批量修改。
- 所有待迁移桶的迁移设置完成并保存后，单击“下一步”，进行迁移参数配置。
- 在迁移方式选择区域，设置迁移方式、迁移范围和目的端前缀（可选）。迁移方式和迁移范围说明参见表5。
- （可选）在源端迁移参数配置区域，勾选迁移元数据和解冻归档数据。
源端为阿里云OSS、腾讯云COS时，支持（可选）勾选CDN迁移支持。如果使用了CDN鉴权，还需要选择“鉴权类型”并输入“鉴权密钥”。
- 在目的端迁移参数配置区域，根据表6，进行配置。
表6 目的端迁移参数配置表 参数
子参数
说明
同名覆盖方式
对象大小与最后修改时间覆盖
- 对于文件迁移：源端和目的端存在的同名文件，保留最后修改时间较新的文件；如果最后修改时间相同，比较文件大小，大小不同则源端覆盖目的端文件；如果最后修改时间和大小都相同，则跳过；
- 对于文件夹迁移：当文件迁移完成后再比对文件夹大写、时间和权限，如果文件夹大小不同/时间不相同/权限不相同，则源端覆盖目的端文件夹；
不覆盖
对于源端和目的端存在的同名文件，跳过源端文件，保留目的端文件。
警告：选择“不覆盖”策略进行数据迁移时，如果迁移任务因错误中断后重启或从暂停状态恢复，可能会造成部分数据未完全迁移，而任务显示成功的现象，影响数据的完整性。为规避这一风险，请谨慎使用“不覆盖”策略。
直接覆盖
对于源端和目的端存在的同名文件，源端文件直接覆盖目的端文件。
CRC64对比覆盖
迁移前，对于源端和目的端存在的同名对象，对比源端和目的端对象元数据中的CRC64值，相同则跳过，不同则覆盖。如果源端或目的端对象元数据中不存在CRC64值，则默认使用对象大小与最后修改时间覆盖策略执行。
说明：- 目前对象存储迁移仅支持华为云、阿里云、腾讯云和Azure。
- 目的端OBS桶需开启CRC64特性白名单。
目的端存储类型
标准存储
存储策略说明请参见存储类型介绍。
说明：归档和深度归档存储类别不支持CRC64校验。即使一致性校验策略选择为CRC64校验，系统也会自动采用对象大小与最后修改时间的校验策略来执行一致性校验。
低频访问存储
归档存储
深度归档存储
与源端一致
- 在一致性校验区域，选择一致性校验方式。
- 对象大小与最后修改时间校验：默认配置，通过对比源端和目的端对象大小与最后修改时间，判断迁移后数据是否完整。
- CRC64校验：通过对比源端和目的端对象元数据中CRC64值，校验数据一致性。当源端数据或目的端数据未含CRC64，OMS会生成CRC64值。注意：CRC64校验可能会产生额外的外网流量费用和请求费用。详见一致性校验说明。
- 目前对象存储迁移仅支持华为云、阿里云、腾讯云和Azure。
- 目的端OBS桶需开启CRC64特性白名单。
- 在迁移任务参数配置区域，根据表7，进行配置。
- （可选）根据表8，配置高级选项。
表8 高级选项参数说明 参数
说明
KMS加密
- 不勾选，迁移后对象状态与目的端桶级服务端加密状态保持一致。
- 勾选，所有对象在迁移到OBS桶后都将被加密存储。
说明：- 使用KMS服务端加密可能会降低迁移速率10%左右。
- 目的端桶所在区域支持KMS加密时，此参数才可用。
过滤配置
通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。
SMN消息发送配置
选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。
- 不勾选，不接收SMN消息。
- 勾选，接收SMN消息。选择SMN主题，会向该主题的订阅者发送消息；选择消息发送语言；选择发送消息的触发条件，支持同时勾选。
增量迁移
- 不勾选，不增量迁移。
- 勾选，配置增量迁移同名覆盖方式和增量迁移模式，详细配置方法参考配置增量迁移。
- 迁移参数配置完成后，单击“下一步”按钮，进入迁移集群配置页面。
- 完成阶段一：迁移资源配置到阶段三：迁移集群配置的操作后，在“配置确认”页面，仔细检查资源配置和迁移配置，确保完全符合您的实际需求。如果需要修改配置，单击“上一步”，返回对应阶段进行修改。
- 在“配置确认”页面，确认资源配置和迁移配置无误，并确保所有配额满足要求后，单击“配置完成”按钮，弹出“启动迁移任务”窗口。此时迁移任务已创建成功，请选择是否立即启动迁移。
- 立即启动：如果您希望立即开始迁移，则单击“确认”按钮，启动迁移任务。
- 暂不启动：如果您希望仅保存迁移任务配置暂不启动迁移，则单击“取消”按钮，此时迁移任务状态为“待启动”，并未开始迁移。后续在迁移任务列表中，单击“任务状态”列的“启动”按钮，可以手动启动迁移。
- （可选）添加阶段/步骤。
在迁移任务标准模板的迁移阶段或步骤中，支持手动添加卡点，以实现对迁移过程的手动控制。详细介绍和操作方法，请参考添加阶段/步骤。
步骤四：跟踪迁移任务
- 查看资源迁移信息：单击资源名称，右侧弹出“资源迁移详情”窗口，可以查看该资源的迁移“基本信息”，“运行状态”和“资源迁移进度”等信息。
- 步骤确认：当资源的运行步骤到达需要手动确认的步骤时，单击对应资源“迁移状态”列或“操作”列的“确认”按钮，迁移任务才会继续进行后续迁移步骤。
迁移任务包含的迁移阶段和步骤的详细信息，可以在“任务详情”页面的右上角单击“查看任务模板”进行查看。
重新配置任务
仅支持对任务状态为“待启动”、“已暂停”、“删除失败”、“成功”的任务进行重新配置。重新配置任务会将当前任务状态重置为“配置中”，同时任务内所有已迁移的资源进度和数据将被清除，不可恢复。
- 在迁移任务列表，单击迁移任务“操作”列的，弹出“重新配置”窗口。
- 确认要重新配置该任务后，输入“YES”，单击“确定”按钮。
- 当任务状态变为“配置中”后，单击“配置”按钮，即可进入任务配置页面重新调整配置。
删除迁移任务中的资源
在“迁移任务详情”页面，您可以删除处于“失败”、“暂停”和“已完成”状态的资源。如果迁移任务中的所有资源均被删除，该迁移任务也将被同步删除。
- 在迁移任务列表，单击迁移任务名称，进入“迁移任务详情”页面。
- 在迁移资源列表，勾选需要删除的资源，单击列表上方的“批量删除”按钮，右侧弹出“删除资源”窗口。
- 确认所选的资源均可以被删除后，输入“DELETE”，单击“确定”按钮，完成删除。
如果因为迁移任务与关联服务（如 SMS、OMS、OBS）连接断开导致资源删除失败，可以勾选“是否强制删除”，强制删除仅能保证清除MgC服务中的资源数据，无法保证同步清理关联服务中已生成的任务与资源。执行强制删除后，请务必前往相关服务确认并手动删除对应资源，防止有残留数据。
配置增量迁移
增量迁移配置说明参见下表。
|
参数 |
说明 |
|---|---|
|
增量迁移同名覆盖方式 |
与表6中的同名覆盖方式相同。
说明：
仅在增量迁移阶段生效。 |
|
增量迁移模式 |
- 选择手动，当对象存储工作流执行到批量创建增量迁移任务时，会立即执行增量迁移。
- 选择自动，当对象存储工作流执行到批量创建增量迁移任务时，您可以进行如下操作：
- 手动增量迁移：在等待自动增量迁移的过程中，可以手动立即执行增量迁移。
- 跳过增量迁移：直接跳过增量迁移，执行业务验证。
