迁移数据场景概述
为了将分散在不同系统中的数据迁移到DLI,确保数据可以在DLI集中分析和管理,你可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI,再使用DLI提交作业分析数据。
CDM支持数据库、数据仓库、文件等多种类型的数据源,通过可视化界面对数据源迁移任务进行配置,提高数据迁移和集成的效率。
常见迁移场景与迁移方案指导
数据类型 |
迁移工具 |
迁移方案 |
---|---|---|
Hive |
CDM |
|
Kafka |
CDM |
|
Elasticsearch |
CDM |
|
RDS |
CDM |
|
DWS |
CDM |
数据迁移数据类型映射
将其他云服务或业务平台数据迁移到DLI ,或者将DLI数据迁移到其他云服务或业务平台时,涉及到源和目的端数据类型的转换和映射,根据表2可以获取到源和目的端的数据类型映射关系。
MySQL |
Hive |
DWS |
Oracle |
PostgreSQL |
Hologres |
DLI Spark |
---|---|---|---|---|---|---|
CHAR |
CHAR |
CHAR |
CHAR |
CHAR |
CHAR |
CHAR |
VARCHAR |
VARCHAR |
VARCHAR |
VARCHAR |
VARCHAR |
VARCHAR |
VARCHAR/STRING |
DECIMAL |
DECIMAL |
NUMERIC |
NUMERIC |
NUMERIC |
DECIMAL |
DECIMAL |
INT |
INT |
INTEGER |
NUMBER |
INTEGER |
INTEGER |
INT |
BIGINT |
BIGINT |
BIGINT |
NUMBER |
BIGINT |
BIGINT |
BIGINT/LONG |
TINYINT |
TINYINT |
SMALLINT |
NUMBER |
SMALLINT |
SMALLINT |
TINYINT |
SMALLINT |
SMALLINT |
SMALLINT |
NUMBER |
SMALLINT |
SMALLINT |
SMALLINT/SHORT |
BINARY |
BINARY |
BYTEA |
RAW |
BYTEA |
BYTEA |
BINARY |
VARBINARY |
BINARY |
BYTEA |
RAW |
BYTEA |
BYTEA |
BINARY |
FLOAT |
FLOAT |
FLOAT4 |
FLOAT |
DOUBLE |
FLOAT4 |
FLOAT |
DOUBLE |
DOUBLE |
FLOAT8 |
FLOAT |
REAL/DOUBLE |
FLOAT8 |
DOUBLE |
DATE |
DATE |
TIMESTAMP |
DATE |
DATE |
DATE |
DATE |
TIME |
不支持(推荐使用:String) |
TIME |
DATE |
TIME |
TIME |
不支持(推荐使用:String) |
DATETIME |
TIMESTAMP |
TIMESTAMP |
TIME |
TIME |
TIMESTAMP |
TIMESTAMP |
TINYINT |
TINYINT |
BOOLEAN |
不支持 |
TINYINT |
BOOLEAN |
BOOLEAN |
不支持(推荐使用:TEXT) |
不支持(推荐使用:String) |
不支持(推荐使用:TEXT) |
不支持(推荐使用:VARCHAR) |
不支持(推荐使用:TEXT) |
不支持(推荐使用:TEXT) |
ARRAY |
不支持(推荐使用:TEXT) |
不支持(推荐使用:String) |
不支持(推荐使用:TEXT) |
不支持(推荐使用:VARCHAR) |
不支持(推荐使用:TEXT) |
不支持(推荐使用:TEXT) |
MAP |
不支持(推荐使用:TEXT) |
不支持(推荐使用:String) |
不支持(推荐使用:TEXT) |
不支持(推荐使用:VARCHAR) |
不支持(推荐使用:TEXT) |
不支持(推荐使用:TEXT) |
STRUCT |
推荐使用:表示当前服务没有支持的标准数据类型,可以使用推荐的数据类型来替换使用。