文档首页 > > 最佳实践> 车联网大数据业务上云> 场景介绍

场景介绍

分享
更新时间: 2018/09/20 GMT+08:00

场景描述

为搭建H公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM助力H公司做到代码“0”改动、数据“0”丢失迁移上云。

迁移方案

图1 迁移方案

H公司的车联网大数据业务平台当前CDH(Cloudera Hadoop) HBase集群中共有854张表约400TB,备HBase集群中共有149张表,约10TB数据。最近一个月新增的数据量是60TB。

通过CDM将CDH集群中的HBase HFile抽取出来存入MRS HDFS中,再通过HBase修复命令重建HBase表。基于这种迁移方案,使用以下2种迁移方式同时进行:
  1. CDM通过DES(数据快递服务)迁移1个月前的历史数据,迁移路径如下:

    CDH → DES → CDM(华为云) → OBS → CDM(华为云) → MRS

    说明:

    DES适用场景:数据量大,用户私有云与华为云无专线打通,用户私有云网络到公网带宽有限。

    • 优点:传输可靠性高,受专线以及网络质量影响较小。
    • 缺点:迁移方式耗时较长。
  2. CDM通过专线直接迁移近一个月的数据以及备HBase集群的数据:

    CDH → CDM(华为云) → MRS

    说明:

    使用云专线直接迁移时的优缺点:

    • 优点:数据无需做多次的搬迁,缩短整体搬迁周期。
    • 缺点:在数据大量传输过程中会占用专线带宽,对客户并行进行的业务存在影响,跨越多个交换机设备。
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区