数据开发操作
元数据管理是元数据信息层级的展示,由一个树形结构组成,根目录是数据源,包括数据库、用户角色。数据库包括系统模式、用户模式和外部服务器,其中系统模式和用户模式是根据OID来区分,系统模式不能更改删除,用户模式包括普通/分区表、外表、视图、函数、序列和同义词。表包括列、约束、索引和分区以及触发器,提供LIST和INFO接口查询列表和具体元数据详情。
目前提供的元数据列表如下图所示,当前提供新增数据库、模式、普通表、字段、索引、约束和分区功能。
新增数据库
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,数据源连接成功后,右键数据库名称,再单击“创建数据库”按钮。
图2 创建数据库
- 页面右边弹出“新增数据库”页面,可根据需求填写。
- 数据库名称:设置数据库名称。
- 所有者:下拉框选择新增数据库所有者。
- 兼容模式:下拉框选择数据库兼容模式,包含Oracle、MySQL和Teradata三种,默认为Oracle。
- 编码:下拉框选择新增数据库编码方式,推荐SQL_ASCII。
- 连接限制:输入值不能小于-1,-1表示无限制。
- 描述:对新增数据库相关描述。
- SQL预览:可单击“点击预览”显示创建数据库SQL语法。
- 确认无误后,单击“确定”。
新增模式
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,新增数据库后,数据库包含用户模式、系统模式、外部服务器。
其中系统模式仅支持查看。
- 右键用户模式名称,再单击“新建模式”按钮。
- 弹出“新增模式”页面,用户可根据需求填写。
- 模式名:设置模式名称。
- 所有者:下拉框选择新增模式所有者。
- 描述:对新增模式相关描述。
- SQL预览:单击“点击预览”显示创建模式SQL语法。
图3 新增模式
- 确认无误后,单击“确定”。
新增普通表
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,新增模式后,模式包含普通表、外表、视图、函数、序列和同义词等结构。
- 右键普通表名称,再单击“新建普通表”可新增一个表,新增普通表的弹窗包含属性、列、数据分布、分区、索引和约束等选项,其中属性和列字段是必填的选项。可单击SQL预览,查询创建表的SQL语句。
表1 新增数据表参数 面板
面板说明
属性
- 数据表名:设置数据表名。
- 表存储方式:可选择ROW和COLUMN。
- 是否分区表:选择该表是否为分区表。
- 描述:对新增数据表相关描述。
列
单击“添加列”,设置如下参数:
- 列名:设置列名称。
- 数据类型:下拉框选择新增列对应的数据类型。
- 长度:总位数。置灰表示固定长度。
- 精度:范围,小数位数。置灰表示无精度设置。
- 非空:勾选新增列是否有非空约束。
- 唯一:勾选新增列是否有唯一约束。
数据分布
有以下三种选择:
- ROUNDROBIN:表的每一行数据被依次地发送给各个DN。
- REPLICATION:表的每一行数据存在所有数据节点中,即每个数据节点都有完整的表数据。
- HASH:对指定的列进行Hash,通过映射,把数据分布到指定数据节点。
分区
可在“分区”面板具体选择“分区类型”(范围分区和列表分区)和“可选列”(对应选择表字段)。单击“新增分区”,设置如下参数:
- 分区名称:设置分区名称。
- 分区值:根据上述“可选列”的字段值做分区边界,在范围内选择。
索引
单击“新增索引”,设置如下参数:
- 索引名称:设置索引名称,可勾选是否为唯一索引。
- 访问方式:下拉框选择索引访问方式,推荐btree。
- 索引类型:可选“列”和“表达式”。
- 条件索引:增加where条件约束。
表约束
单击“新增约束”,设置如下参数:
- 约束类型:可选check、unique或primary。
- 表达式(check参数):可设置字段约束条件。
- 约束名称:设置约束名称。
- 可选列(unique\primary参数):下拉框选择可选列。
SQL预览
单击“点击预览”显示创建普通表SQL语法。
图4 新建普通表
- 确认无误后,单击“确定”。
编辑普通表
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,新增数据普通表后,可对普通表进行编辑操作。
图5 编辑普通表
- 右键普通表名称,修改操作如下表所示:
表2 编辑数据表操作 操作
操作说明
修改普通表
单击“修改”按钮可修改表名、模式和选择是否为分区表。
删除普通表
单击“删除”按钮可删除该普通表。
操作列
单击“操作列”按钮可批量新增列、编辑列(列名、数据类型、长度、是否非空)和删除列。
操作索引
单击“操作索引”按钮可批量新增索引、编辑索引(索引名称)和删除索引。
操作约束
单击“操作约束”按钮可批量新增约束、编辑约束(约束名称、可选列)和删除约束。
操作分区(非分区表该按钮置灰)
单击“操作约束”按钮可批量新增分区、编辑分区名称和删除分区。
右键指定约束、索引和分区名称,单击“编辑约束/索引/分区”按钮也可修改相应属性。
- 修改确认无误后,单击“确认”。
查看普通表数据
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,右键数据表名称。
- 单击“查看数据”按钮可新增、筛选查看、编辑和删除普通表数据信息。
图6 查看数据表
右键分区名称,单击“查看数据”按钮也可新增、筛选查看、编辑和删除分区数据信息。
查看视图数据
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,右键视图名称,单击“查看数据”可筛选查看该数据库下视图数据信息。
图7 查看视图数据
导入数据
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,右键普通表名称,单击“导入数据”可选择导入本地Excel文件或者OBS桶文件数据到普通表中。
- 本地导入:从本地上传Excel文件,大小不能超过30M;当导入文件是CSV类型,可填写不同的分隔符对每行数据进行分隔;选择是否有表头,如果无表头,每行数据需要按照选择的表字段进行填写。
图8 导入本地excel数据至普通表
- obs导入:从OBS桶文件中选择文件,也可以选择目录,支持CSV和TEXT文件类型。填写OBS桶导入需要创建外表的一些参数,通过OBS外表将OBS桶文件写入到选择的普通表中。
实时数仓(单机部署)8.2.0.100及以上集群版本支持通过OBS文件导入功能。
表3 obs导入参数 参数
描述
样例值
存储位置
从OBS桶文件中选择文件。
-
文件格式
下拉框选择文件格式,支持CSV和TEXT格式。
CSV
文件编码
下拉框选择文件编码方式,推荐UTF8。
UTF8
分隔符
CSV格式下默认英文逗号,TXT格式下默认为TAB制表符。
,
引号字符(CSV格式)
用于CSV格式,只能是单字节的字符,不能和分隔符、null参数相同。
#
换行符(TEXT格式)
只能用于TEXT格式,指定导入数据文件换行符样式,取值范围:支持多字符换行符,但换行符不能超过10个字节。常见的换行符,如\r、\n、\r\n,其他字符或字符串,如$、#。
\r
是否不进行转义(TEXT格式)
只能用于TEXT格式,开启后不对\和后面的字符进行转义。
是
空值表示
用来指定数据文件中空值的表示。
$
数据格式错误个数
指定本次数据导入允许出现的数据格式错误个数,-1代表无限制错误数。
-1
是否含有表头(CSV格式)
只能用于CSV格式,指定导出数据文件是否包含标题行,标题行一般用来描述表中每个字段的信息。
是
是否忽略字段缺失
开启后如果数据源文件中一行数据的最后一个字段缺失,则把最后一个字段的值设置为NULL,不报错。
是
是否忽略多出列
数据源文件中的字段比外表定义列数多时,是否忽略多出的列。
是
是否容错非法字符
开启后本次数据导入允许出现非法字符。
是
图9 导入OBS桶文件数据至普通表
- 本地导入:从本地上传Excel文件,大小不能超过30M;当导入文件是CSV类型,可填写不同的分隔符对每行数据进行分隔;选择是否有表头,如果无表头,每行数据需要按照选择的表字段进行填写。
- 确认无误后,单击“确定”。
- 选择页面右上角“常用功能 > 导入数据列表”,在导入数据列表面板查看导入记录是否成功。
导出数据
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,登录需要导出数据的数据源,选择编辑框面板上方对应的数据库和模式。
- 在编辑器框内输入查询SQL语句,单击“运行”按钮。
- 单击查询结果下的“导出”按钮。
- 本地导出:将查询SQL的所有结果导出到xlsx或csv文件,可直接在本地打开查看,最多支持导出5000条数据。
- 全量导出:将查询SQL的所有结果导出到指定的OBS桶下的路径中,默认为csv文件。
图10 全量导出数据
- 导出任务创建成功后,选择页面右上角“常用功能 > 导出任务”,在导出数据列表查看导出的任务。
- 导出任务成功后,可单击所在行“文件地址”列的路径,跳转至OBS界面下载导出成功的csv文件。
图11 导出任务列表
提交SQL任务
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,登录需要提交SQL任务的数据源,选择编辑框面板上方对应的数据库和模式。
- 在编辑框内输入非查询类的SQL语句,单击“提交SQL任务”按钮,将选择的SQL语句提交到后台任务执行。
每次提交的非查询类SQL语句不可超过100条,同一个用户下最多支持5个正在执行的SQL任务。
图12 提交SQL任务
- 提交SQL任务成功后,选择页面右上角“常用功能 > SQL任务”,在SQL任务列表查看执行的SQL任务。
- 执行任务结束后,可以单击所在行操作列的“详情”按钮查看每条SQL的执行情况。
图13 查看SQL任务详情
查看数据库、schema、表列表统计信息
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,双击“数据库”名称,打开数据库的列表页,可以查看搜索数据库的具体信息。
图14 查看数据库具体信息
- 单击数据库列表中某一个数据库名称,进入到schema列表,可以查看表总数,表总大小和索引大小信息。
图15 查看schema信息
- 单击schema列表中某一个schema名称,进入到普通表列表,可以查看表行数,表大小和索引大小等信息。
图16 查看普通表信息
共享自定义数据源给同一租户下的其它IAM用户
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源 > 自定义”面板,创建自定义数据源,务必请记住密码。
- 右键需要分享的自定义数据源名称,单击“共享数据源”,在共享列表中可查看此数据源已共享的IAM用户列表。
- 单击列表上方的“添加共享”按钮,可选择给同租户下的其它IAM用户共享此数据源,并设置共享截止时间。
- 单击已共享的IAM用户所在行操作列“取消共享”按钮可取消共享。
- 单击已共享的IAM用户所在行操作列“修改”按钮修改共享到期时间和用户名。
图17 共享数据源
- 被共享的IAM用户登录时,可在自定义数据源列表中看到被共享的数据源,单击数据源名称可直接登录使用。
新增目录
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”切换至脚本面板。
- 单击“新增目录”。
- 保存到目录:下拉框选择保存至父级目录。如果为空,则该目录为一级目录。
- 目录名称:设置目录名称,仅支持输入中文、英文、数字、下划线的组合。
图18 新增目录
- 确认无误后,单击“确认”。
新增脚本
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”切换至脚本面板。
- 单击“新增脚本”。
- 保存到目录:下拉框选择新增的目录夹。该选项为可选选项。
- 脚本名称:设置脚本名称,仅支持输入中文、英文、数字、下划线的组合。
- OBS桶:存储脚本文件的OBS桶名称。如果没有可选择的OBS桶,可以单击“创建OBS桶”进入OBS管理控制台创建新的OBS桶,具体操作请参见《对象存储服务控制台指南》中的创建桶章节。
- 路径:在OBS中存储脚本文件的自定义目录。多级目录可用“/”进行分隔。路径取值范围:1~50个字符。如果不填写该路径,系统默认自动新增路径。
图19 新增脚本
相关参考语法
- 新增数据库语法参考:CREATE DATABASE
- 新增模式语法参考:CREATE SCHEMA
- 新增普通表语法参考:CREATE TABLE