DWS数据导入和查询开发操作
本章节指导您对DWS数据执行相关导入/导出和查询操作:导入数据至普通表、导入/导出面板中SQL语句、查看视图数据、查看普通表数据、查看数据库、模式、表列表统计信息和导出运行结果数据。
导入数据至普通表
- 登录DWS管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,右键单击指定普通表名称,单击“导入数据”可选择导入本地Excel文件或者OBS桶文件数据到普通表中。
- 本地导入:从本地上传Excel文件,大小不能超过30MB;当导入文件是CSV类型,可填写不同的分隔符对每行数据进行分隔;选择是否有表头,如果无表头,每行数据需要按照选择的表字段进行填写。 图1 导入本地excel数据至普通表
- obs导入:从OBS桶文件中选择文件,也可以选择目录,支持CSV和TEXT文件类型。填写OBS桶导入需要创建外表的相关参数,通过OBS外表将OBS桶文件写入到选择的普通表中。
表1 obs导入参数 参数
描述
样例值
存储位置
从OBS桶中选择文件或目录作为数据源。
-
文件格式
下拉框选择文件格式,支持CSV和TEXT格式。
CSV
文件编码
下拉框选择文件编码方式,推荐UTF8。
UTF8
分隔符
CSV格式下默认英文逗号,TXT格式下默认为TAB制表符。
,
引号字符(CSV格式)
仅用于CSV格式,设置用于引用字段的引号字符。只能是单字节字符,不能和分隔符、空值表示参数相同。
#
换行符(TEXT格式)
仅用于TEXT格式,指定导入数据文件换行符样式,支持多字符换行符,但换行符不能超过10个字节。常见的换行符,如\r、\n、\r\n,其他字符或字符串,如$、#。
\r
是否不进行转义(TEXT格式)
仅用于TEXT格式,开启后不对\和后面的字符进行转义处理。
是
空值表示
指定数据文件中空值的表示。导入时遇到该字符串将作为NULL值处理。
$
数据格式错误个数
指定本次导入允许出现的数据格式错误个数,设置为-1代表无限制错误数。
-1
是否含有表头(CSV格式)
仅用于CSV格式,指定导入数据文件是否包含标题行,标题行一般用来描述表中每个字段的信息。
是
是否忽略字段缺失
开启后,如果数据源文件中一行数据的最后一个字段缺失,则把该字段的值设置为NULL,不报错。
是
是否忽略多出列
数据源文件中的字段比外表定义列数多时,是否忽略多出的列。
是
是否容错非法字符
开启后,本次数据导入允许出现非法字符,非法字符将被替换为?。
是
图2 导入OBS桶文件数据至普通表
- 本地导入:从本地上传Excel文件,大小不能超过30MB;当导入文件是CSV类型,可填写不同的分隔符对每行数据进行分隔;选择是否有表头,如果无表头,每行数据需要按照选择的表字段进行填写。
- 确认无误后,单击“确定”。
- 选择页面右上角“常用功能 > 导入数据列表”,在导入数据列表面板查看导入记录是否成功。
导入/导出面板中SQL语句
- 登录DWS管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,数据源连接成功后,选择编辑框面板上方对应的数据库和模式。
- 单击面板上方“导入”,弹出导入提示框。
- 单击“添加文件”,导入SQL文件(仅支持导入SQL文件,且不能超过10MB)。
- 确认无误后单击“确定”,导入成功后SQL语句将同步至面板上。
- (可选)如果需要导出面板中的SQL语句,单击面板上方“导出”,系统将自动导出SQL文件至本地。
查看视图数据
- 登录DWS管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,右键单击指定视图名称,单击“查看数据”可筛选查看该数据库下视图数据信息。 图3 查看视图数据
查看普通表数据
- 登录DWS管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,右键单击数据表名称。
- 单击“查看数据”可新增、筛选查看、编辑和删除普通表数据信息。
右键单击指定分区名称,单击“查看数据”也可新增、筛选查看、编辑和删除分区数据信息。
图4 查看数据表
查看数据库、模式、表列表统计信息
- 登录DWS管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,双击“数据库”,打开数据库的列表页,可以查看搜索数据库的具体信息。 图5 查看数据库具体信息
- 单击数据库列表中某一个数据库名称,进入到模式列表,可以查看表总数,表总大小和索引大小信息。 图6 查看schema信息
- 单击模式列表中某一个模式名称,进入到普通表列表,可以查看表行数,表大小和索引大小等信息。 图7 查看普通表信息
导出运行结果数据
- 登录DWS管理控制台。
- 在左侧导航栏中,选择“数据 > SQL编辑器”。
- 切换至“数据源”面板,登录需要导出数据的数据源,选择编辑框面板上方对应的数据库和模式。
- 在编辑器框内输入查询SQL语句,单击“运行”。
- 单击查询结果下的“导出”。
- 本地导出:将查询SQL的所有结果导出到xlsx或csv文件,可直接在本地打开查看,最多支持导出20000条数据。
- 全量导出:将查询SQL的所有结果导出到指定的OBS桶下的路径中,默认为csv文件。 图8 全量导出数据
- DDL结构导出:右键单击指定用户模式名称,单击“转储SQL文件”并勾选导出数据,导出该模式下的表、视图、函数、触发器、序列和同义词等元数据的DDL语句以及表的插入语句到指定的OBS桶下的路径中,默认为SQL文件。 图9 schema结构转储
- 确认无误后,单击“确定”。
- 导出任务创建成功后,选择页面右上角“常用功能 > 导出任务”,在导出数据列表查看导出的任务。
- 导出任务成功后,可单击所在行“文件地址”列的路径,跳转至OBS界面下载导出成功的csv或者sql文件。 图10 导出任务列表