文档首页 > > 开发指南> 导入数据> 导入方式说明

导入方式说明

分享
更新时间: 2019/06/24 GMT+08:00

DWS支持多样化的数据导入方式,如图1所示。建议用户配合云数据迁移(Cloud Data Migration,简称CDM)、数据接入服务(Data Ingestion Service,简称DIS)和数据湖工厂(Data Lake Factory,简称DLF)一起使用,CDM用于批量数据迁移,DIS用于流数据接入,DLF可以对整个ETL过程进行编排调度,同时提供可视化的开发环境。

图1 导入方式
表1 数据导入方式说明

数据导入方式

数据源

说明

优势

并行拉取

OBS

支持将存储在OBS上的TXT、CSV及ORC格式的数据并行导入到DWS,支持导入后查询数据,也支持远程读OBS上的数据。

DWS优先推荐的导入方式。

性能好,横向扩展。

MRS(HDFS)

配置一个DWS集群连接到一个MRS集群,然后将数据从MRS的HDFS中读取到DWS。

Servers(即远端服务器)

使用DWS提供的GDS工具,利用多DN并行的方式,将数据从远端服务器导入到DWS。这种方式导入效率高,适用于大批量数据入库。

CDM(使用Copy和GDS)

数据库、NoSQL、文件系统、大数据平台

CDM提供同构/异构数据源之间批量数据迁移的功能,帮助您实现从多种类型的数据源迁移数据到DWS。

数据源丰富,操作简单。

DIS(使用OBS转储)

流数据

可以将流式数据从DIS通道周期性导入到DWS集群的数据库中。导入DWS前数据临时存储在OBS,待转储DWS完成后删除OBS上的临时存储数据。

准实时入库。

第三方ETL工具

数据库、NoSQL、文件系统、大数据平台

请参考第三方ETL工具的相关文档。

通过OBS中转,数据源丰富,数据转换能力强。

INSERT方式

-

使用SQL客户端工具或JDBC/ODBC驱动连接DWS数据库时,执行INSERT语句插入一行或多行数据,以及从指定表插入数据。

INSERT是最简单的一种数据写入方式,适合数据写入量不大, 并发度不高的场景。

JDBC驱动CopyManager接口

其他文件或数据库

使用Java语言开发应用程序时,通过调用JDBC驱动的CopyManager接口,从文件或其他数据库向DWS写入数据。

从其他数据库直接写入DWS的方式,具有业务数据无需落地成文件的优势。

gsql客户端工具的元命令\copy

本地文件

与直接使用SQL语句COPY不同,该命令读取/写入的文件只能是gsql客户端所在机器上的本地文件。

操作简单。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区