更新时间:2024-10-10 GMT+08:00
DES迁移一个月前的历史数据
迁移流程
- 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。
- DES将数据快递到华为云数据中心。
- 使用华为云CDM将DES中的数据迁移到华为云OBS。
- 使用华为云CDM将OBS数据迁移到MRS。
其中CDM相关操作,与CDM迁移近一个月的数据相同,都是使用二进制直接传输文件目录,2个集群并发执行作业。
注意事项
- 当迁移动作影响到客户的HDFS集群时,需要手动停止作业。
- 如果作业出现大批量的失败:
- 先检查DES盒子是否被写满。如果写满,需要清除最近写入的目录,保证后面写入的数据都是完整的。
- 再检查网络是否连通。
- 检查客户的HDFS集群。检查是否有指标异常的现象,如果有,则需要暂停迁移任务。
父主题: 车联网大数据零丢失搬迁入湖