更新时间:2024-11-08 GMT+08:00
分享

数据开发操作

元数据管理是元数据信息层级的展示由一个树形结构组成,根目录是数据源,包括数据库、用户角色。数据库包括系统模式、用户模式和外部服务器,其中系统模式和用户模式是根据OID来区分,系统模式不能更改删除,用户模式包括普通/分区表、外表、视图、函数、序列和同义词。表包括列、约束、索引和分区以及触发器,提供LIST和INFO接口查询列表和具体元数据详情。

目前提供的元数据列表如下图所示,当前提供新增数据库、模式、普通表、字段、索引、约束和分区功能。

图1 元数据信息层级

新增数据库

  1. 登录GaussDB(DWS)管理控制台。
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,数据源连接成功后,右键数据库名称,再单击“创建数据库”按钮。

    图2 创建数据库

  4. 页面右边弹出“新增数据库”页面,可根据需求填写。

    • 数据库名称:设置数据库名称。
    • 所有者:下拉框选择新增数据库所有者。
    • 兼容模式:下拉框选择数据库兼容模式,包含Oracle、MySQL和Teradata三种,默认为Oracle。
    • 编码:下拉框选择新增数据库编码方式,推荐SQL_ASCII。
    • 连接限制:输入值不能小于-1,-1表示无限制。
    • 描述:对新增数据库相关描述。
    • SQL预览:可单击“点击预览”显示创建数据库SQL语法。

  5. 确认无误后,单击“确定”。

新增模式

  1. 登录GaussDB(DWS)管理控制台。
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,新增数据库后,数据库包含用户模式、系统模式、外部服务器。

    其中系统模式仅支持查看。

  4. 右键用户模式名称,再单击“新建模式”按钮。
  5. 弹出“新增模式”页面,用户可根据需求填写。

    • 模式名:设置模式名称。
    • 所有者:下拉框选择新增模式所有者。
    • 描述:对新增模式相关描述。
    • SQL预览:单击“点击预览”显示创建模式SQL语法。
    图3 新增模式

  6. 确认无误后,单击“确定”。

新增普通表

  1. 登录GaussDB(DWS)管理控制台。
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,新增模式后,模式包含普通表、外表、视图、函数、序列和同义词等结构。
  4. 右键普通表名称,再单击“新建普通表”可新增一个表,新增普通表的弹窗包含属性、列、数据分布、分区、索引和约束等选项,其中属性和列字段是必填的选项。可单击SQL预览,查询创建表的SQL语句。

    表1 新增数据表参数

    面板

    面板说明

    属性

    • 数据表名:设置数据表名。
    • 表存储方式:可选择ROW和COLUMN。
    • 是否分区表:选择该表是否为分区表。
    • 描述:对新增数据表相关描述。

    单击“添加列”,设置如下参数:

    • 列名:设置列名称。
    • 数据类型:下拉框选择新增列对应的数据类型。
    • 长度:总位数。置灰表示固定长度。
    • 精度:范围,小数位数。置灰表示无精度设置。
    • 非空:勾选新增列是否有非空约束。
    • 唯一:勾选新增列是否有唯一约束。

    数据分布

    有以下三种选择:

    • ROUNDROBIN:表的每一行数据被依次地发送给各个DN。
    • REPLICATION:表的每一行数据存在所有数据节点中,即每个数据节点都有完整的表数据。
    • HASH:对指定的列进行Hash,通过映射,把数据分布到指定数据节点。

    分区

    可在“分区”面板具体选择“分区类型”(范围分区和列表分区)和“可选列”(对应选择表字段)。单击“新增分区”,设置如下参数:

    • 分区名称:设置分区名称。
    • 分区值:根据上述“可选列”的字段值做分区边界,在范围内选择。

    索引

    单击“新增索引”,设置如下参数:

    • 索引名称:设置索引名称,可勾选是否为唯一索引。
    • 访问方式:下拉框选择索引访问方式,推荐btree。
    • 索引类型:可选“列”和“表达式”。
    • 条件索引:增加where条件约束。

    表约束

    单击“新增约束”,设置如下参数:

    • 约束类型:可选check、unique或primary。
    • 表达式(check参数):可设置字段约束条件。
    • 约束名称:设置约束名称。
    • 可选列(unique\primary参数):下拉框选择可选列。

    SQL预览

    单击“点击预览”显示创建普通表SQL语法。

    图4 新建普通表

  5. 确认无误后,单击“确定”。

编辑普通表

  1. 登录GaussDB(DWS)管理控制台。
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,新增数据普通表后,可对普通表进行编辑操作。

    图5 编辑普通表

  4. 右键普通表名称,修改操作如下表所示:

    表2 编辑数据表操作

    操作

    操作说明

    修改普通表

    单击“修改”按钮可修改表名、模式和选择是否为分区表。

    删除普通表

    单击“删除”按钮可删除该普通表。

    操作列

    单击“操作列”按钮可批量新增列、编辑列(列名、数据类型、长度、是否非空)和删除列。

    操作索引

    单击“操作索引”按钮可批量新增索引、编辑索引(索引名称)和删除索引。

    操作约束

    单击“操作约束”按钮可批量新增约束、编辑约束(约束名称、可选列)和删除约束。

    操作分区(非分区表该按钮置灰)

    单击“操作约束”按钮可批量新增分区、编辑分区名称和删除分区。

    右键指定约束、索引和分区名称,单击“编辑约束/索引/分区”按钮也可修改相应属性。

  5. 修改确认无误后,单击“确认”。

查看普通表数据

  1. 登录GaussDB(DWS)管理控制台。
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,右键数据表名称。
  4. 单击“查看数据”按钮可新增、筛选查看、编辑和删除普通表数据信息。

    图6 查看数据表

    右键分区名称,单击“查看数据”按钮也可新增、筛选查看、编辑和删除分区数据信息。

查看视图数据

  1. 登录GaussDB(DWS)管理控制台。
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,右键视图名称,单击“查看数据”可筛选查看该数据库下视图数据信息。

    图7 查看视图数据

导入数据

  1. 登录GaussDB(DWS)管理控制台。
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,右键普通表名称,单击“导入数据”可选择导入本地Excel文件或者OBS桶文件数据到普通表中。

    • 本地导入:从本地上传Excel文件,大小不能超过30M;当导入文件是CSV类型,可填写不同的分隔符对每行数据进行分隔;选择是否有表头,如果无表头,每行数据需要按照选择的表字段进行填写。
      图8 导入本地excel数据至普通表
    • obs导入:从OBS桶文件中选择文件,也可以选择目录,支持CSV和TEXT文件类型。填写OBS桶导入需要创建外表的一些参数,通过OBS外表将OBS桶文件写入到选择的普通表中。

      实时数仓(单机部署)8.2.0.100及以上集群版本支持通过OBS文件导入功能。

      表3 obs导入参数

      参数

      描述

      样例值

      存储位置

      从OBS桶文件中选择文件。

      -

      文件格式

      下拉框选择文件格式,支持CSV和TEXT格式。

      CSV

      文件编码

      下拉框选择文件编码方式,推荐UTF8。

      UTF8

      分隔符

      CSV格式下默认英文逗号,TXT格式下默认为TAB制表符。

      引号字符(CSV格式)

      用于CSV格式,只能是单字节的字符,不能和分隔符、null参数相同。

      #

      换行符(TEXT格式)

      只能用于TEXT格式,指定导入数据文件换行符样式,取值范围:支持多字符换行符,但换行符不能超过10个字节。常见的换行符,如\r、\n、\r\n,其他字符或字符串,如$、#。

      \r

      是否不进行转义(TEXT格式)

      只能用于TEXT格式,开启后不对\和后面的字符进行转义。

      空值表示

      用来指定数据文件中空值的表示。

      $

      数据格式错误个数

      指定本次数据导入允许出现的数据格式错误个数,-1代表无限制错误数。

      -1

      是否含有表头(CSV格式)

      只能用于CSV格式,指定导出数据文件是否包含标题行,标题行一般用来描述表中每个字段的信息。

      是否忽略字段缺失

      开启后如果数据源文件中一行数据的最后一个字段缺失,则把最后一个字段的值设置为NULL,不报错。

      是否忽略多出列

      数据源文件中的字段比外表定义列数多时,是否忽略多出的列。

      是否容错非法字符

      开启后本次数据导入允许出现非法字符。

      图9 导入OBS桶文件数据至普通表

  4. 确认无误后,单击“确定”
  5. 选择页面右上角“常用功能 > 导入数据列表”,在导入数据列表面板查看导入记录是否成功。

导出数据

  1. 登录GaussDB(DWS)管理控制台。
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,登录需要导出数据的数据源,选择编辑框面板上方对应的数据库和模式。
  4. 在编辑器框内输入查询SQL语句,单击“运行”按钮。
  5. 单击查询结果下的“导出”按钮。

    • 本地导出:将查询SQL的所有结果导出到xlsx或csv文件,可直接在本地打开查看,最多支持导出5000条数据。
    • 全量导出:将查询SQL的所有结果导出到指定的OBS桶下的路径中,默认为csv文件。
      图10 全量导出数据

  6. 导出任务创建成功后,选择页面右上角“常用功能 > 导出任务”,在导出数据列表查看导出的任务。
  7. 导出任务成功后,可单击所在行“文件地址”列的路径,跳转至OBS界面下载导出成功的csv文件。

    图11 导出任务列表

提交SQL任务

  1. 登录GaussDB(DWS)管理控制台。
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,登录需要提交SQL任务的数据源,选择编辑框面板上方对应的数据库和模式。
  4. 在编辑框内输入非查询类的SQL语句,单击“提交SQL任务”按钮,将选择的SQL语句提交到后台任务执行。

    每次提交的非查询类SQL语句不可超过100条,同一个用户下最多支持5个正在执行的SQL任务。

    图12 提交SQL任务

  5. 提交SQL任务成功后,选择页面右上角“常用功能 > SQL任务”,在SQL任务列表查看执行的SQL任务。
  6. 执行任务结束后,可以单击所在行操作列的“详情”按钮查看每条SQL的执行情况。

    图13 查看SQL任务详情

查看数据库、schema、表列表统计信息

  1. 登录GaussDB(DWS)管理控制台。
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源”面板,双击“数据库”名称,打开数据库的列表页,可以查看搜索数据库的具体信息。

    图14 查看数据库具体信息

  4. 单击数据库列表中某一个数据库名称,进入到schema列表,可以查看表总数,表总大小和索引大小信息。

    图15 查看schema信息

  5. 单击schema列表中某一个schema名称,进入到普通表列表,可以查看表行数,表大小和索引大小等信息。

    图16 查看普通表信息

共享自定义数据源给同一租户下的其它IAM用户

  1. 登录GaussDB(DWS)管理控制台。
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”
  3. 切换至“数据源 > 自定义”面板,创建自定义数据源,务必请记住密码。
  4. 右键需要分享的自定义数据源名称,单击“共享数据源”,在共享列表中可查看此数据源已共享的IAM用户列表。

    • 单击列表上方的“添加共享”按钮,可选择给同租户下的其它IAM用户共享此数据源,并设置共享截止时间。
    • 单击已共享的IAM用户所在行操作列“取消共享”按钮可取消共享。
    • 单击已共享的IAM用户所在行操作列“修改”按钮修改共享到期时间和用户名。
    图17 共享数据源

  5. 被共享的IAM用户登录时,可在自定义数据源列表中看到被共享的数据源,单击数据源名称可直接登录使用。

新增目录

  1. 登录GaussDB(DWS)管理控制台。
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”切换至脚本面板。
  3. 单击“新增目录”。

    • 保存到目录:下拉框选择保存至父级目录。如果为空,则该目录为一级目录。
    • 目录名称:设置目录名称,仅支持输入中文、英文、数字、下划线的组合。
    图18 新增目录

  4. 确认无误后,单击“确认”。

新增脚本

  1. 登录GaussDB(DWS)管理控制台。
  2. 在左侧导航栏中,选择“数据 > SQL编辑器”切换至脚本面板。
  3. 单击“新增脚本”。

    • 保存到目录:下拉框选择新增的目录夹。该选项为可选选项。
    • 脚本名称:设置脚本名称,仅支持输入中文、英文、数字、下划线的组合。
    • OBS桶:存储脚本文件的OBS桶名称。如果没有可选择的OBS桶,可以单击“创建OBS桶”进入OBS管理控制台创建新的OBS桶,具体操作请参见《对象存储服务控制台指南》中的创建桶章节。
    • 路径:在OBS中存储脚本文件的自定义目录。多级目录可用“/”进行分隔。路径取值范围:1~50个字符。如果不填写该路径,系统默认自动新增路径。
    图19 新增脚本

相关参考语法

相关文档