DES迁移一个月前的历史数据

迁移流程

1. 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。
2. DES将数据快递到华为云数据中心。
3. 使用华为云CDM将DES中的数据迁移到华为云OBS。
4. 使用华为云CDM将OBS数据迁移到MRS。

其中CDM相关操作，与CDM迁移近一个月的数据相同，都是使用二进制直接传输文件目录，2个集群并发执行作业。

注意事项

• 当迁移动作影响到客户的HDFS集群时，需要手动停止作业。
• 如果作业出现大批量的失败：
  1. 先检查DES盒子是否被写满。如果写满，需要清除最近写入的目录，保证后面写入的数据都是完整的。
  2. 再检查网络是否连通。
  3. 检查客户的HDFS集群。检查是否有指标异常的现象，如果有，则需要暂停迁移任务。