文档首页 > > 开发指南> 导入数据> 从DIS导入流式数据到GaussDB(DWS)

从DIS导入流式数据到GaussDB(DWS)

分享
更新时间:2020/11/17 GMT+08:00

通过数据接入服务(Data Ingestion Service,简称DIS),可以将实时数据从DIS导入到GaussDB(DWS) 集群的数据库中。在这种场景下,DIS通道里的流式数据存储在DIS中,并周期性导入GaussDB(DWS) 中。导入GaussDB(DWS) 前数据临时存储在OBS,待转储GaussDB(DWS) 完成后删除OBS上的临时存储数据。

从DIS导入数据到GaussDB(DWS) 的流程如下:

  1. 创建GaussDB(DWS) 集群、数据库和数据表
  2. 开通DIS通道,接入实时数据
  3. 在GaussDB(DWS) 数据库中查看从DIS导入的数据

创建GaussDB(DWS) 集群、数据库和数据表

  1. 创建GaussDB(DWS) 集群。

    具体操作请参见《数据仓库服务管理指南》中的创建集群

    如果您已经有GaussDB(DWS) 集群了,也可以跳过这一步。

    例如,创建一个名为"dws-demo"的GaussDB(DWS) 集群。

  2. 使用SQL客户端连接GaussDB(DWS) 集群。

    具体操作请参见《数据仓库服务管理指南》中的连接集群

    您可以选择其中一种方式连接集群。

  3. 在SQL客户端中,执行SQL语句,创建数据库、数据表和数据库模式(即schema)。

    请参见《数据仓库服务数据库开发指南》的从这里开始 ,完成如下数据库对象的创建:

    • 数据库用户:用户名为“joe”, 密码为“Bigdata@123”。
    • 数据库:“db_tpcds”。
    • 数据库模式:“myschema”。

      如果您选择不创建数据库模式,默认情况下,新的数据库对象是创建在“public”模式下的。

    • 数据表:“mytable”。

      创建数据表时,请根据实际的源数据设计表结构。表的字段及其字段类型要和源数据一一对应。

开通DIS通道,接入实时数据

  1. 登录DIS管理控制台,开通DIS通道。

    开通DIS通道的详细步骤,请参见《数据接入服务用户指南》的“入门 > 步骤1:开通DIS通道”章节。

    从DIS导入数据到GaussDB(DWS) 的场景,对DIS通道的要求如下:

    • 区域:必须选择与GaussDB(DWS) 集群相同的区域。目前区域仅支持“华北-北京
    • 源数据类型:只支持“CSV”

  2. 在DIS管理控制台,为刚购买的接入通道添加转储任务,“转储服务类型”选择“GaussDB(DWS) ”,将通道数据转储至GaussDB(DWS) 服务。

    添加转储任务的详细步骤,请参见《数据接入服务用户指南》的“管理转储任务 > 新增转储任务”章节。

    添加转储任务时,GaussDB(DWS) 相关参数可按照创建GaussDB(DWS) 集群、数据库和数据表步骤中的情况进行填写。说明如下:

    • 转储服务类型:选择“GaussDB(DWS) ”。通道里的流式数据存储在DIS中,并周期性导入GaussDB(DWS) 中。导入GaussDB(DWS) 前数据临时存储在OBS,待转储GaussDB(DWS) 完成后删除OBS上的临时存储数据。
    • GaussDB(DWS) 集群:存储该通道数据的GaussDB(DWS) 集群名称。例如:“dws-demo ”。
    • GaussDB(DWS) 数据库:该通道数据的GaussDB(DWS) 数据库名称。例如:“db_tpcds”。
    • 数据库模式:存储该通道数据的GaussDB(DWS) 数据库模式(即schema)。例如:“myschema ”。
    • GaussDB(DWS) 数据表:该通道数据的GaussDB(DWS) 数据库模式下的数据表。例如:“mytable”。
    • 数据分隔符:用户数据的字段分隔符,根据此分隔符分隔用户数据插入GaussDB(DWS) 数据表的相应列。
    • 用户名:待转储的GaussDB(DWS) 目标数据库的用户名,该数据库用户需要有“GaussDB(DWS) 数据表”的读写权限。例如:“joe”。
    • 密码“用户名”参数所指定用户的密码。

  3. 准备DIS应用开发环境,发送实时数据到DIS。

    详细操作,请参见《数据接入服务用户指南》中的“入门 > 步骤2:准备DIS应用开发环境”和“入门 > 步骤3:发送数据到DIS”章节。

在GaussDB(DWS) 数据库中查看从DIS导入的数据

  1. 使用SQL客户端连接GaussDB(DWS) 集群中已导入DIS数据的数据库。

    具体操作请参见《数据仓库服务管理指南》中的连接集群

    您可以选择其中一种方式连接集群。

  2. 在SQL客户端中执行查询命令,查看从DIS导入GaussDB(DWS) 的数据。

    命令示例如下,其中table_name请替换为DIS通道转储至GaussDB(DWS) 的目标数据表名。

    1
    SELECT * FROM table_name;
    

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问