更新时间:2023-07-14 GMT+08:00

入门实践

当您参考创建集群创建连接等一系列操作后,可以根据自身的业务需求使用CDM提供的一系列常用实践。

表1 常用最佳实践

实践

描述

使用教程

创建MRS Hive连接器

MRS Hive连接适用于MapReduce服务,本最佳实践为您介绍如何创建MRS Hive连接器。

MySQL数据迁移到OBS

CDM支持表到OBS的迁移,本最佳实践介绍如何通过CDM将MySQL表数据迁移到OBS中。

参数传递

通过数据开发使用参数传递灵活调度CDM作业

如果CDM作业接收来自数据开发作业配置的参数,则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CDM作业。本最佳实践介绍通过数据开发使用参数传递功能灵活调度CDM作业。

增量迁移

文件增量迁移

CDM支持对文件类数据源进行增量迁移,全量迁移完成之后,第二次运行作业时可以导出全部新增的文件,或者只导出特定的目录/文件。

关系数据库增量迁移

CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。

案例

案例:贸易数据统计与分析

使用云数据迁移(Cloud Data Migration,简称CDM)将本地贸易统计数据导入到OBS,再使用数据湖探索(Data Lake Insight,简称DLI)进行贸易统计分析,帮助H咨询公司以极简、极低成本构建其大数据分析平台,使得该公司更好地聚焦业务,持续创新。

案例:车联网大数据业务上云

为搭建H公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM(Cloud Data Migration,简称CDM)助力H公司做到代码“0”改动、数据“0”丢失迁移上云。