更新时间:2024-10-10 GMT+08:00
分享

DES迁移一个月前的历史数据

迁移流程

  1. 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES
  2. DES将数据快递到华为云数据中心。
  3. 使用华为云CDM将DES中的数据迁移到华为云OBS。
  4. 使用华为云CDM将OBS数据迁移到MRS。

其中CDM相关操作,与CDM迁移近一个月的数据相同,都是使用二进制直接传输文件目录,2个集群并发执行作业。

注意事项

  • 当迁移动作影响到客户的HDFS集群时,需要手动停止作业。
  • 如果作业出现大批量的失败:
    1. 先检查DES盒子是否被写满。如果写满,需要清除最近写入的目录,保证后面写入的数据都是完整的。
    2. 再检查网络是否连通。
    3. 检查客户的HDFS集群。检查是否有指标异常的现象,如果有,则需要暂停迁移任务。

相关文档