更新时间:2024-08-27 GMT+08:00
分享

迁移数据场景概述

为了将分散在不同系统中的数据迁移到DLI,确保数据可以在DLI集中分析和管理,你可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI,再使用DLI提交作业分析数据。

CDM支持数据库、数据仓库、文件等多种类型的数据源,通过可视化界面对数据源迁移任务进行配置,提高数据迁移和集成的效率。

图1 迁移数据至DLI

常见迁移场景与迁移方案指导

表1 常见迁移场景与迁移方案指导

数据类型

迁移工具

迁移方案

Hive

CDM

迁移Hive数据至DLI

Kafka

CDM

迁移Kafka数据至DLI

Elasticsearch

CDM

迁移Elasticsearch数据至DLI

RDS

CDM

迁移RDS数据至DLI

DWS

CDM

迁移DWS数据至DLI

数据迁移数据类型映射

将其他云服务或业务平台数据迁移到DLI ,或者将DLI数据迁移到其他云服务或业务平台时,涉及到源和目的端数据类型的转换和映射,根据表2可以获取到源和目的端的数据类型映射关系。

表2 数据类型映射表

MySQL

Hive

DWS

Oracle

PostgreSQL

Hologres

DLI Spark

CHAR

CHAR

CHAR

CHAR

CHAR

CHAR

CHAR

VARCHAR

VARCHAR

VARCHAR

VARCHAR

VARCHAR

VARCHAR

VARCHAR/STRING

DECIMAL

DECIMAL

NUMERIC

NUMERIC

NUMERIC

DECIMAL

DECIMAL

INT

INT

INTEGER

NUMBER

INTEGER

INTEGER

INT

BIGINT

BIGINT

BIGINT

NUMBER

BIGINT

BIGINT

BIGINT/LONG

TINYINT

TINYINT

SMALLINT

NUMBER

SMALLINT

SMALLINT

TINYINT

SMALLINT

SMALLINT

SMALLINT

NUMBER

SMALLINT

SMALLINT

SMALLINT/SHORT

BINARY

BINARY

BYTEA

RAW

BYTEA

BYTEA

BINARY

VARBINARY

BINARY

BYTEA

RAW

BYTEA

BYTEA

BINARY

FLOAT

FLOAT

FLOAT4

FLOAT

DOUBLE

FLOAT4

FLOAT

DOUBLE

DOUBLE

FLOAT8

FLOAT

REAL/DOUBLE

FLOAT8

DOUBLE

DATE

DATE

TIMESTAMP

DATE

DATE

DATE

DATE

TIME

不支持(推荐使用:String)

TIME

DATE

TIME

TIME

不支持(推荐使用:String)

DATETIME

TIMESTAMP

TIMESTAMP

TIME

TIME

TIMESTAMP

TIMESTAMP

TINYINT

TINYINT

BOOLEAN

不支持

TINYINT

BOOLEAN

BOOLEAN

不支持(推荐使用:TEXT)

不支持(推荐使用:String)

不支持(推荐使用:TEXT)

不支持(推荐使用:VARCHAR)

不支持(推荐使用:TEXT)

不支持(推荐使用:TEXT)

ARRAY

不支持(推荐使用:TEXT)

不支持(推荐使用:String)

不支持(推荐使用:TEXT)

不支持(推荐使用:VARCHAR)

不支持(推荐使用:TEXT)

不支持(推荐使用:TEXT)

MAP

不支持(推荐使用:TEXT)

不支持(推荐使用:String)

不支持(推荐使用:TEXT)

不支持(推荐使用:VARCHAR)

不支持(推荐使用:TEXT)

不支持(推荐使用:TEXT)

STRUCT

推荐使用:表示当前服务没有支持的标准数据类型,可以使用推荐的数据类型来替换使用。

相关文档