更新时间:2022-08-23 GMT+08:00

数据迁移概览

本文为您介绍数据迁移的最佳实践,您可以通过云数据迁移服务CDM轻松的将其他云服务或者业务平台的数据迁移至DLI。

DLI提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,采用批流融合高扩展性框架,为TB~EB级数据提供了更实时高效的多样性算力,可支撑更丰富的大数据处理需求。

数据迁移最佳实践

数据迁移数据类型映射

将其他云服务或业务平台数据迁移到DLI ,或者将DLI数据迁移到其他云服务或业务平台时,涉及到源和目的端数据类型的转换和映射,根据表1可以获取到源和目的端的数据类型映射关系。

表1 数据类型映射表

MySQL

Hive

DWS

Oracle

PostgreSQL

Hologres

DLI Spark

CHAR

CHAR

CHAR

CHAR

CHAR

CHAR

CHAR

VARCHAR

VARCHAR

VARCHAR

VARCHAR

VARCHAR

VARCHAR

VARCHAR/STRING

DECIMAL

DECIMAL

NUMERIC

NUMERIC

NUMERIC

DECIMAL

DECIMAL

INT

INT

INTEGER

NUMBER

INTEGER

INTEGER

INT

BIGINT

BIGINT

BIGINT

NUMBER

BIGINT

BIGINT

BIGINT/LONG

TINYINT

TINYINT

SMALLINT

NUMBER

SMALLINT

SMALLINT

TINYINT

SMALLINT

SMALLINT

SMALLINT

NUMBER

SMALLINT

SMALLINT

SMALLINT/SHORT

BINARY

BINARY

BYTEA

RAW

BYTEA

BYTEA

BINARY

VARBINARY

BINARY

BYTEA

RAW

BYTEA

BYTEA

BINARY

FLOAT

FLOAT

FLOAT4

FLOAT

DOUBLE

FLOAT4

FLOAT

DOUBLE

DOUBLE

FLOAT8

FLOAT

REAL/DOUBLE

FLOAT8

DOUBLE

DATE

DATE

TIMESTAMP

DATE

DATE

DATE

DATE

TIME

不支持(推荐使用:String)

TIME

DATE

TIME

TIME

不支持(推荐使用:String)

DATETIME

TIMESTAMP

TIMESTAMP

TIME

TIME

TIMESTAMP

TIMESTAMP

TINYINT

TINYINT

BOOLEAN

不支持

TINYINT

BOOLEAN

BOOLEAN

不支持(推荐使用:TEXT)

不支持(推荐使用:String)

不支持(推荐使用:TEXT)

不支持(推荐使用:VARCHAR)

不支持(推荐使用:TEXT)

不支持(推荐使用:TEXT)

ARRAY

不支持(推荐使用:TEXT)

不支持(推荐使用:String)

不支持(推荐使用:TEXT)

不支持(推荐使用:VARCHAR)

不支持(推荐使用:TEXT)

不支持(推荐使用:TEXT)

MAP

不支持(推荐使用:TEXT)

不支持(推荐使用:String)

不支持(推荐使用:TEXT)

不支持(推荐使用:VARCHAR)

不支持(推荐使用:TEXT)

不支持(推荐使用:TEXT)

STRUCT

推荐使用:表示当前服务没有支持的标准数据类型,可以使用推荐的数据类型来替换使用。