文档首页 > > 开发指南> 导入数据> 从DIS导入流式数据到DWS

从DIS导入流式数据到DWS

分享
更新时间: 2019/07/22 GMT+08:00

通过数据接入服务(Data Ingestion Service,简称DIS),可以将实时数据从DIS导入到DWS集群的数据库中。在这种场景下,DIS通道里的流式数据存储在DIS中,并周期性导入DWS中。导入DWS前数据临时存储在OBS,待转储DWS完成后删除OBS上的临时存储数据。

从DIS导入数据到DWS的流程如下:

  1. 创建DWS集群、数据库和数据表
  2. 开通DIS通道,接入实时数据
  3. 在DWS数据库中查看从DIS导入的数据

创建DWS集群、数据库和数据表

  1. 创建DWS集群。

    具体操作请参见《数据仓库服务管理指南》中的创建集群

    如果您已经有DWS集群了,也可以跳过这一步。

    例如,创建一个名为"dws-demo"的DWS集群。

  2. 使用SQL客户端连接DWS集群。

    具体操作请参见《数据仓库服务管理指南》中的连接集群

    您可以选择其中一种方式连接集群。

  3. 在SQL客户端中,执行SQL语句,创建数据库、数据表和数据库模式(即schema)。

    请参见《数据仓库服务数据库开发指南》的从这里开始 ,完成如下数据库对象的创建:

    • 数据库用户:用户名为“joe”, 密码为“Bigdata@123”。
    • 数据库:“db_tpcds”。
    • 数据库模式:“myschema”。

      如果您选择不创建数据库模式,默认情况下,新的数据库对象是创建在“public”模式下的。

    • 数据表:“mytable”。

      创建数据表时,请根据实际的源数据设计表结构。表的字段及其字段类型要和源数据一一对应。

开通DIS通道,接入实时数据

  1. 登录DIS管理控制台,开通DIS通道。

    开通DIS通道的详细步骤,请参见《数据接入服务用户指南》的步骤1:开通DIS通道章节。

    从DIS导入数据到DWS的场景,对DIS通道的要求如下:

    • 区域:必须选择与DWS集群相同的区域。目前区域仅支持“华北-北京一”
    • 源数据类型:只支持“CSV”

  2. 在DIS管理控制台,为刚购买的接入通道添加转储任务,“转储服务类型”选择“DWS”,将通道数据转储至DWS服务。

    添加转储任务的详细步骤,请参见《数据接入服务用户指南》的新增转储任务章节。

    添加转储任务时,DWS相关参数可按照创建DWS集群、数据库和数据表步骤中的情况进行填写。说明如下:

    • 转储服务类型:选择“DWS”。通道里的流式数据存储在DIS中,并周期性导入DWS中。导入DWS前数据临时存储在OBS,待转储DWS完成后删除OBS上的临时存储数据。
    • DWS 集群:存储该通道数据的DWS集群名称。例如:“dws-demo ”。
    • DWS 数据库:该通道数据的DWS数据库名称。例如:“db_tpcds”。
    • 数据库模式:存储该通道数据的DWS数据库模式(即schema)。例如:“myschema ”。
    • DWS 数据表:该通道数据的DWS数据库模式下的数据表。例如:“mytable”。
    • 数据分隔符:用户数据的字段分隔符,根据此分隔符分隔用户数据插入DWS数据表的相应列。
    • 用户名:待转储的DWS目标数据库的用户名,该数据库用户需要有“DWS 数据表”的读写权限。例如:“joe”。
    • 密码“用户名”参数所指定用户的密码。

  3. 准备DIS应用开发环境,发送实时数据到DIS。

    详细操作,请参见《数据接入服务用户指南》中的“入门 > 步骤2:准备DIS应用开发环境”和“入门 > 步骤3:发送数据到DIS”章节。

在DWS数据库中查看从DIS导入的数据

  1. 使用SQL客户端连接DWS集群中已导入DIS数据的数据库。

    具体操作请参见《数据仓库服务管理指南》中的连接集群

    您可以选择其中一种方式连接集群。

  2. 在SQL客户端中执行查询命令,查看从DIS导入DWS的数据。

    命令示例如下,其中table_name请替换为DIS通道转储至DWS的目标数据表名。

    SELECT * FROM table_name;

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区