使用标准存储迁移旅程迁移海量小文件场景

迁移总览

整个迁移过程分为三个主要阶段，每个阶段均包含明确的操作步骤，只需按顺序执行即可实现海量小文件的平滑迁移。

图1 迁移流程和阶段

阶段说明：

1. 阶段一（全量迁移）：先列举后迁移，大幅提升海量小文件的迁移效率。
2. 阶段二（增量迁移）：通过快速校验识别增量，再迁移差异文件，实现增量同步。
3. 阶段三（一致性校验）：采用分组并行校验，分阶段展示进度，确保数据一致性。

准备工作

请先完成标准存储迁移旅程中的步骤一创建标准存储迁移旅程任务以及步骤二中的迁移前准备等配置。在此过程中，请注意以下两项关键设置：

• 源端平台：必须选择“华为云OBS”。
• 集群类型：必须选择“独享型集群”，并确保至少创建一个状态健康的集群。

阶段一：全量数据迁移

在海量小文件迁移场景中，采用“先列举、后迁移”的两阶段策略。与直接创建迁移任务时进行全量对象列举相比，独立执行列举任务可通过字典序拆分与算法优化，显著提升列举性能，从而有效缩短整体迁移时长。

1. 创建并配置列举任务。
   1. 进入标准存储迁移旅程的“迁移与校验 ”页面，在任务列表区域，单击“创建列举任务”按钮，进入配置页面。
   2. 参考创建列举任务中的参数说明，进行列举任务参数配置。
   3. 按照图2所示，列举任务设置前缀为“logs”，前缀后开始字符为“a”，前缀后结束字符为“f”，实际列举会列举基于字典序logsa至logsf之间所有文件（包括logsa，不包括logsf）。
      图2 列举任务高级选项示例
      

2. 基于列举结果创建迁移任务。

   当列举任务运行状态为“已完成”后，单击在操作列中的“创建迁移任务”，即可将列举出的对象列表作为源数据进行迁移。详细操作步骤请参考标准存储迁移旅程步骤二中的迁移实施。

   

   在迁移任务状态显示为“已完成”后，表示当前批次的存储数据已全量迁移完成。

阶段二：增量数据迁移

针对海量小文件迁移场景，为实现高效的增量数据迁移，推荐采用“先创建快速校验任务识别差异数据，再针对差异文件进行增量迁移”的策略。

1. 创建并配置快速校验任务。
   1. 进入标准存储迁移旅程的“迁移与校验 ”页面，单击任务列表上方的“创建校验任务”。
   2. 参考创建校验任务中的参数说明，进行“快速检验任务”配置。
   3. 按照图3所示，快速校验任务前缀设置为“logs”，前缀后开始字符设置为“a”，前缀后结束字符设置为“z”。实际快速校验任务将校验基于字典序logsa至logsz之间所有文件（包括logsa，但不包括logsz）。
      图3 快速校验任务校验配置示例
      

2. 基于校验结果创建增量迁移任务。

   当校验任务的运行状态为“失败”时，单击操作列的“迁移失败文件”，创建迁移任务以进行增量迁移。详细操作请参考标准存储迁移旅程步骤二中的迁移实施，完成迁移任务配置并启动迁移。

   

   在迁移任务状态显示为“已完成”后，表示存储数据的增量迁移已完成。

阶段三：数据校验

针对海量小文件迁移场景，采用“分组校验”策略以提升校验效率。分组校验任务分为三个阶段：列举阶段、文件拆分阶段、对比阶段。其中列举阶段仅展示当前已列举的对象数量，无法显示具体的列举进度百分比。文件拆分与对比阶段可在界面中通过“已完成/总对象数”展示当前文件拆分或对比阶段的进度，无法表示整个校验任务的总体进度。

1. 创建并配置分组校验任务：
   1. 进入标准存储迁移旅程的“迁移与校验 ”页面，单击任务列表上方的“创建校验任务”。
   2. 参考创建校验任务中的参数说明，进行“分组校验任务”配置。
   3. 按照图4所示，将分组校验任务前缀设置为“logs”，前缀后字符分段点设置为“a;b;c”。系统将基于字典序将校验范围拆分为以下4个子任务分别进行校验：
      • logs至logsa（包含logs，不包含logsa）
      • logsa至logsb（包含logsa，不包含logsb）
      • logsb至logsc（包含logsb，不包含logsc）
      • logsc至logt（包含logsc，不包含 logt。注：字典序中s的下一个字符为t，因此该区间包含字典序大于等于logsc且以logs为前缀的所有文件）
      图4 分组校验任务校验配置示例
      

2. 查看校验结果。

   校验完成后，可以单击任务名称查看任务详情和对比结果。