迁移数据场景概述
为了将分散在不同系统中的数据迁移到DLI,确保数据可以在DLI集中分析和管理,您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI,再使用DLI提交作业分析数据。
CDM支持数据库、数据仓库、文件等多种类型的数据源,通过可视化界面对数据源迁移任务进行配置,提高数据迁移和集成的效率。
常见迁移场景与迁移方案指导
| 数据类型 | 迁移工具 | 迁移方案 |
|---|---|---|
| Hive | CDM | |
| Kafka | CDM | |
| Elasticsearch | CDM | |
| RDS | CDM | |
| DWS | CDM |
数据迁移数据类型映射
将其他云服务或业务平台数据迁移到DLI ,或者将DLI数据迁移到其他云服务或业务平台时,涉及到源和目的端数据类型的转换和映射,根据表2可以获取到源和目的端的数据类型映射关系。
| MySQL | Hive | DWS | Oracle | PostgreSQL | Hologres | DLI Spark |
|---|---|---|---|---|---|---|
| CHAR | CHAR | CHAR | CHAR | CHAR | CHAR | CHAR |
| VARCHAR | VARCHAR | VARCHAR | VARCHAR | VARCHAR | VARCHAR | VARCHAR/STRING |
| DECIMAL | DECIMAL | NUMERIC | NUMERIC | NUMERIC | DECIMAL | DECIMAL |
| INT | INT | INTEGER | NUMBER | INTEGER | INTEGER | INT |
| BIGINT | BIGINT | BIGINT | NUMBER | BIGINT | BIGINT | BIGINT/LONG |
| TINYINT | TINYINT | SMALLINT | NUMBER | SMALLINT | SMALLINT | TINYINT |
| SMALLINT | SMALLINT | SMALLINT | NUMBER | SMALLINT | SMALLINT | SMALLINT/SHORT |
| BINARY | BINARY | BYTEA | RAW | BYTEA | BYTEA | BINARY |
| VARBINARY | BINARY | BYTEA | RAW | BYTEA | BYTEA | BINARY |
| FLOAT | FLOAT | FLOAT4 | FLOAT | DOUBLE | FLOAT4 | FLOAT |
| DOUBLE | DOUBLE | FLOAT8 | FLOAT | REAL/DOUBLE | FLOAT8 | DOUBLE |
| DATE | DATE | TIMESTAMP | DATE | DATE | DATE | DATE |
| TIME | 不支持(推荐使用:String) | TIME | DATE | TIME | TIME | 不支持(推荐使用:String) |
| DATETIME | TIMESTAMP | TIMESTAMP | TIME | TIME | TIMESTAMP | TIMESTAMP |
| TINYINT | TINYINT | BOOLEAN | 不支持 | TINYINT | BOOLEAN | BOOLEAN |
| 不支持(推荐使用:TEXT) | 不支持(推荐使用:String) | 不支持(推荐使用:TEXT) | 不支持(推荐使用:VARCHAR) | 不支持(推荐使用:TEXT) | 不支持(推荐使用:TEXT) | ARRAY |
| 不支持(推荐使用:TEXT) | 不支持(推荐使用:String) | 不支持(推荐使用:TEXT) | 不支持(推荐使用:VARCHAR) | 不支持(推荐使用:TEXT) | 不支持(推荐使用:TEXT) | MAP |
| 不支持(推荐使用:TEXT) | 不支持(推荐使用:String) | 不支持(推荐使用:TEXT) | 不支持(推荐使用:VARCHAR) | 不支持(推荐使用:TEXT) | 不支持(推荐使用:TEXT) | STRUCT |
推荐使用:表示当前服务没有支持的标准数据类型,可以使用推荐的数据类型来替换使用。