更新时间:2026-08-03 GMT+08:00
分享

DWS数据导入和查询开发操作

本章节指导您对DWS数据执行相关导入/导出和查询操作:导入数据至普通表导入/导出面板中SQL语句查看视图数据查看普通表数据查看数据库、模式、表列表统计信息导出运行结果数据

导入数据至普通表

  1. 登录DWS管理控制台
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,右键单击指定普通表名称,单击“导入数据”可选择导入本地Excel文件或者OBS桶文件数据到普通表中。

    • 本地导入:从本地上传Excel文件,大小不能超过30MB;当导入文件是CSV类型,可填写不同的分隔符对每行数据进行分隔;选择是否有表头,如果无表头,每行数据需要按照选择的表字段进行填写。
      图1 导入本地excel数据至普通表
    • obs导入:从OBS桶文件中选择文件,也可以选择目录,支持CSV和TEXT文件类型。填写OBS桶导入需要创建外表的相关参数,通过OBS外表将OBS桶文件写入到选择的普通表中。
      表1 obs导入参数

      参数

      描述

      样例值

      存储位置

      从OBS桶中选择文件或目录作为数据源。

      -

      文件格式

      下拉框选择文件格式,支持CSV和TEXT格式。

      CSV

      文件编码

      下拉框选择文件编码方式,推荐UTF8。

      UTF8

      分隔符

      CSV格式下默认英文逗号,TXT格式下默认为TAB制表符。

      引号字符(CSV格式)

      仅用于CSV格式,设置用于引用字段的引号字符。只能是单字节字符,不能和分隔符、空值表示参数相同。

      #

      换行符(TEXT格式)

      仅用于TEXT格式,指定导入数据文件换行符样式,支持多字符换行符,但换行符不能超过10个字节。常见的换行符,如\r、\n、\r\n,其他字符或字符串,如$、#。

      \r

      是否不进行转义(TEXT格式)

      仅用于TEXT格式,开启后不对\和后面的字符进行转义处理。

      空值表示

      指定数据文件中空值的表示。导入时遇到该字符串将作为NULL值处理。

      $

      数据格式错误个数

      指定本次导入允许出现的数据格式错误个数,设置为-1代表无限制错误数。

      -1

      是否含有表头(CSV格式)

      仅用于CSV格式,指定导入数据文件是否包含标题行,标题行一般用来描述表中每个字段的信息。

      是否忽略字段缺失

      开启后,如果数据源文件中一行数据的最后一个字段缺失,则把该字段的值设置为NULL,不报错。

      是否忽略多出列

      数据源文件中的字段比外表定义列数多时,是否忽略多出的列。

      是否容错非法字符

      开启后,本次数据导入允许出现非法字符,非法字符将被替换为?。

      图2 导入OBS桶文件数据至普通表

  4. 确认无误后,单击“确定”
  5. 选择页面右上角“常用功能 > 导入数据列表”,在导入数据列表面板查看导入记录是否成功。

导入/导出面板中SQL语句

  1. 登录DWS管理控制台
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,数据源连接成功后,选择编辑框面板上方对应的数据库和模式。
  4. 单击面板上方“导入”,弹出导入提示框。
  5. 单击“添加文件”,导入SQL文件仅支持导入SQL文件,且不能超过10MB
  6. 确认无误后单击“确定”,导入成功后SQL语句将同步至面板上。
  7. (可选)如果需要导出面板中的SQL语句,单击面板上方“导出”,系统将自动导出SQL文件至本地。

查看视图数据

  1. 登录DWS管理控制台
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,右键单击指定视图名称,单击“查看数据”可筛选查看该数据库下视图数据信息。

    图3 查看视图数据

查看普通表数据

  1. 登录DWS管理控制台
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,右键单击数据表名称。
  4. 单击“查看数据”可新增、筛选查看、编辑和删除普通表数据信息。

    右键单击指定分区名称,单击“查看数据”也可新增、筛选查看、编辑和删除分区数据信息。

    图4 查看数据表

查看数据库、模式、表列表统计信息

  1. 登录DWS管理控制台
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,双击“数据库”,打开数据库的列表页,可以查看搜索数据库的具体信息。

    图5 查看数据库具体信息

  4. 单击数据库列表中某一个数据库名称,进入到模式列表,可以查看表总数,表总大小和索引大小信息。

    图6 查看schema信息

  5. 单击模式列表中某一个模式名称,进入到普通表列表,可以查看表行数,表大小和索引大小等信息。

    图7 查看普通表信息

导出运行结果数据

  1. 登录DWS管理控制台
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,登录需要导出数据的数据源,选择编辑框面板上方对应的数据库和模式。
  4. 在编辑器框内输入查询SQL语句,单击“运行”
  5. 单击查询结果下的“导出”

    • 本地导出:将查询SQL的所有结果导出到xlsx或csv文件,可直接在本地打开查看,最多支持导出20000条数据。
    • 全量导出:将查询SQL的所有结果导出到指定的OBS桶下的路径中,默认为csv文件。
      图8 全量导出数据
    • DDL结构导出:右键单击指定用户模式名称,单击“转储SQL文件”并勾选导出数据,导出该模式下的表、视图、函数、触发器、序列和同义词等元数据的DDL语句以及表的插入语句到指定的OBS桶下的路径中,默认为SQL文件。
      图9 schema结构转储

  6. 确认无误后,单击“确定”
  7. 导出任务创建成功后,选择页面右上角“常用功能 > 导出任务”,在导出数据列表查看导出的任务。
  8. 导出任务成功后,可单击所在行“文件地址”列的路径,跳转至OBS界面下载导出成功的csv或者sql文件。

    图10 导出任务列表

相关文档