迁移数据场景概述
为了将分散在不同系统中的数据迁移到DLI,确保数据可以在DLI集中分析和管理,您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI,再使用DLI提交作业分析数据。
CDM支持数据库、数据仓库、文件等多种类型的数据源,通过可视化界面对数据源迁移任务进行配置,提高数据迁移和集成的效率。
常见迁移场景与迁移方案指导
|
数据类型 |
迁移工具 |
迁移方案 |
|---|---|---|
|
Hive |
CDM |
|
|
Kafka |
CDM |
|
|
Elasticsearch |
CDM |
|
|
RDS |
CDM |
|
|
DWS |
CDM |
数据迁移数据类型映射
将其他云服务或业务平台数据迁移到DLI ,或者将DLI数据迁移到其他云服务或业务平台时,涉及到源和目的端数据类型的转换和映射,根据表2可以获取到源和目的端的数据类型映射关系。
|
MySQL |
Hive |
DWS |
Oracle |
PostgreSQL |
Hologres |
DLI Spark |
|---|---|---|---|---|---|---|
|
CHAR |
CHAR |
CHAR |
CHAR |
CHAR |
CHAR |
CHAR |
|
VARCHAR |
VARCHAR |
VARCHAR |
VARCHAR |
VARCHAR |
VARCHAR |
VARCHAR/STRING |
|
DECIMAL |
DECIMAL |
NUMERIC |
NUMERIC |
NUMERIC |
DECIMAL |
DECIMAL |
|
INT |
INT |
INTEGER |
NUMBER |
INTEGER |
INTEGER |
INT |
|
BIGINT |
BIGINT |
BIGINT |
NUMBER |
BIGINT |
BIGINT |
BIGINT/LONG |
|
TINYINT |
TINYINT |
SMALLINT |
NUMBER |
SMALLINT |
SMALLINT |
TINYINT |
|
SMALLINT |
SMALLINT |
SMALLINT |
NUMBER |
SMALLINT |
SMALLINT |
SMALLINT/SHORT |
|
BINARY |
BINARY |
BYTEA |
RAW |
BYTEA |
BYTEA |
BINARY |
|
VARBINARY |
BINARY |
BYTEA |
RAW |
BYTEA |
BYTEA |
BINARY |
|
FLOAT |
FLOAT |
FLOAT4 |
FLOAT |
DOUBLE |
FLOAT4 |
FLOAT |
|
DOUBLE |
DOUBLE |
FLOAT8 |
FLOAT |
REAL/DOUBLE |
FLOAT8 |
DOUBLE |
|
DATE |
DATE |
TIMESTAMP |
DATE |
DATE |
DATE |
DATE |
|
TIME |
不支持(推荐使用:String) |
TIME |
DATE |
TIME |
TIME |
不支持(推荐使用:String) |
|
DATETIME |
TIMESTAMP |
TIMESTAMP |
TIME |
TIME |
TIMESTAMP |
TIMESTAMP |
|
TINYINT |
TINYINT |
BOOLEAN |
不支持 |
TINYINT |
BOOLEAN |
BOOLEAN |
|
不支持(推荐使用:TEXT) |
不支持(推荐使用:String) |
不支持(推荐使用:TEXT) |
不支持(推荐使用:VARCHAR) |
不支持(推荐使用:TEXT) |
不支持(推荐使用:TEXT) |
ARRAY |
|
不支持(推荐使用:TEXT) |
不支持(推荐使用:String) |
不支持(推荐使用:TEXT) |
不支持(推荐使用:VARCHAR) |
不支持(推荐使用:TEXT) |
不支持(推荐使用:TEXT) |
MAP |
|
不支持(推荐使用:TEXT) |
不支持(推荐使用:String) |
不支持(推荐使用:TEXT) |
不支持(推荐使用:VARCHAR) |
不支持(推荐使用:TEXT) |
不支持(推荐使用:TEXT) |
STRUCT |
推荐使用:表示当前服务没有支持的标准数据类型,可以使用推荐的数据类型来替换使用。