迁移数据场景概述
为了将分散在不同系统中的数据迁移到DLI,确保数据可以在DLI集中分析和管理,您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI,再使用DLI提交作业分析数据。
CDM支持数据库、数据仓库、文件等多种类型的数据源,通过可视化界面对数据源迁移任务进行配置,提高数据迁移和集成的效率。

常见迁移场景与迁移方案指导
数据类型 | 迁移工具 | 迁移方案 |
|---|---|---|
Hive | CDM | |
Kafka | CDM | |
Elasticsearch | CDM | |
RDS | CDM | |
DWS | CDM |
数据迁移数据类型映射
将其他云服务或业务平台数据迁移到DLI ,或者将DLI数据迁移到其他云服务或业务平台时,涉及到源和目的端数据类型的转换和映射,根据表2可以获取到源和目的端的数据类型映射关系。
MySQL | Hive | DWS | Oracle | PostgreSQL | Hologres | DLI Spark |
|---|---|---|---|---|---|---|
CHAR | CHAR | CHAR | CHAR | CHAR | CHAR | CHAR |
VARCHAR | VARCHAR | VARCHAR | VARCHAR | VARCHAR | VARCHAR | VARCHAR/STRING |
DECIMAL | DECIMAL | NUMERIC | NUMERIC | NUMERIC | DECIMAL | DECIMAL |
INT | INT | INTEGER | NUMBER | INTEGER | INTEGER | INT |
BIGINT | BIGINT | BIGINT | NUMBER | BIGINT | BIGINT | BIGINT/LONG |
TINYINT | TINYINT | SMALLINT | NUMBER | SMALLINT | SMALLINT | TINYINT |
SMALLINT | SMALLINT | SMALLINT | NUMBER | SMALLINT | SMALLINT | SMALLINT/SHORT |
BINARY | BINARY | BYTEA | RAW | BYTEA | BYTEA | BINARY |
VARBINARY | BINARY | BYTEA | RAW | BYTEA | BYTEA | BINARY |
FLOAT | FLOAT | FLOAT4 | FLOAT | DOUBLE | FLOAT4 | FLOAT |
DOUBLE | DOUBLE | FLOAT8 | FLOAT | REAL/DOUBLE | FLOAT8 | DOUBLE |
DATE | DATE | TIMESTAMP | DATE | DATE | DATE | DATE |
TIME | 不支持(推荐使用:String) | TIME | DATE | TIME | TIME | 不支持(推荐使用:String) |
DATETIME | TIMESTAMP | TIMESTAMP | TIME | TIME | TIMESTAMP | TIMESTAMP |
TINYINT | TINYINT | BOOLEAN | 不支持 | TINYINT | BOOLEAN | BOOLEAN |
不支持(推荐使用:TEXT) | 不支持(推荐使用:String) | 不支持(推荐使用:TEXT) | 不支持(推荐使用:VARCHAR) | 不支持(推荐使用:TEXT) | 不支持(推荐使用:TEXT) | ARRAY |
不支持(推荐使用:TEXT) | 不支持(推荐使用:String) | 不支持(推荐使用:TEXT) | 不支持(推荐使用:VARCHAR) | 不支持(推荐使用:TEXT) | 不支持(推荐使用:TEXT) | MAP |
不支持(推荐使用:TEXT) | 不支持(推荐使用:String) | 不支持(推荐使用:TEXT) | 不支持(推荐使用:VARCHAR) | 不支持(推荐使用:TEXT) | 不支持(推荐使用:TEXT) | STRUCT |

推荐使用:表示当前服务没有支持的标准数据类型,可以使用推荐的数据类型来替换使用。

