更新时间:2024-01-30 GMT+08:00
分享

SQL编辑器

SQL编辑器简介

SQL作业编辑器支持使用SQL语句执行数据查询操作。

支持SQL2003,兼容SparkSQL,详细语法描述请参见《数据湖探索SQL语法参考》

在总览页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”,可进入“SQL编辑器”页面。

本节内容介绍SQL编辑器页面中的主要功能。

使用须知

  • 首次进入SQL编辑器,页面会提示设置DLI作业桶。该桶用于存储使用DLI服务产生的临时数据,例如:作业日志等。

    如果不创建该桶,将无法查看作业日志。桶名称为系统默认。

    在OBS管理控制台页面通过配置桶的生命周期规则,可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。

    具体操作请参考通过配置生命周期规则

  • SQL编辑器页面可以批量执行SQL语句。
  • 作业编辑窗口常用语法采用不同颜色突出显示。
  • 支持单行注释和多行注释。以“--”开头,后续内容即为注释。

导航栏

页面左侧的导航栏包括“数据库”、“队列”和“模板”说明如下。

图1 SQL作业导航栏
表1 导航栏按键说明

序号

页签/按键名称

描述

1

数据库

显示已有的数据库及其下所有的表。

  • 单击数据库名,将显示该数据库中的表。
  • 单击表名,将在表名下显示该表中的元数据,最多可显示20个元数据。
  • 双击表名,将在作业编辑窗口自动输入SQL查询语句。

2

队列

显示已有的队列。

3

模板

自定义模板和内置的SQL样例模板(目前包含22条标准的TPC-H查询语句)。

SQL作业编辑窗口

页面右侧上方为SQL作业编辑窗口,参数说明请参考表2

操作栏下方为SQL语句编辑区。快捷键介绍具体请参考表3

图2 SQL作业编辑窗口
表2 SQL作业编辑窗口说明

序号

按键&下拉列

描述

1

执行引擎

SQL作业支持Spark和Trino两种引擎:

  • Spark引擎适用于离线分析。
  • Trino引擎适用于交互式分析。

2

队列

下拉选择需要使用的队列。如果没有可用队列,此处显示“default”队列,default队列为体验使用,建议单独创建队列。具体队列创建可以参考创建队列

SQL作业只能在队列类型为“SQL队列”下执行。

3

数据库

下拉选择需要使用的数据库。如果没有可用数据库,此处显示“default”默认数据库。数据库创建操作详见创建数据库和表

说明:

如果SQL语句中指定了表所在的数据库,则此处选择的数据库无效。

4

执行

执行作业编辑窗口中的SQL语句。

5

格式化

格式化SQL语句。

6

语法参考

可跳转至《数据湖探索SQL语法参考》手册。

7

设置

包括设置“参数设置”和“标签”。

参数设置:以“key/value”的形式设置提交SQL作业的配置项。详细内容请参见《数据湖探索SQL语法参考》。

标签:以“key/value”的形式设置SQL作业的标签。

8

更多

包括:

  • 语法校验:判断SQL语句编写是否正确。
  • 设为模板:将常用的SQL语句设为模板。具体操作请参见SQL模板管理
  • 切换主题:选择白底黑字或黑底白字。
表3 快捷键说明

快捷键

描述

Ctrl+Enter

执行SQL。通过按下键盘上的Ctrl+R或Ctrl + Enter,您可以执行SQL语句。

Ctrl+F

搜索SQL。通过按下键盘上的Ctrl + F,您可以搜索需要的SQL语句。

Shift+Alt+F

格式化SQL。通过按下键盘上的Shift+Alt+F,您可以将SQL语句格式化。

Ctrl+Q

语法校验。通过按下键盘上的Ctrl + Q,您可以对SQL语句进行语法校验。

F11

全屏。通过按下键盘上的F11,您可将SQL作业编辑器窗口全屏。再次按下F11,将从全屏复原。

“执行历史(最近一天)”和“查看结果”

SQL作业执行完成后可以在编辑区域下方查看执行历史和执行结果。

  • 执行历史(最近一天)

    可以通过以下方式筛选执行历史:

    • 在右上角选择队列名称或输入执行语句
    • 在列表中选择创建时间顺序/倒序排列
    • 在列表中选择作业状态
    图3 SQL作业执行历史
    表4 SQL作业执行历史说明

    区域

    描述

    执行历史(最近一天)

    执行历史显示最近一天提交的作业的信息。包括:
    • 队列:队列名称
    • 用户名:执行SQL的用户
    • 类型:SQL作业的类型
    • 状态:SQL作业的执行状态
    • 执行语句
    • 创建时间
    • 操作:
      • 编辑:重新编辑SQL语句
      • SparkUI:跳转至SparkUI查看SQL语句执行进程
        说明:

        新建队列,运行作业时会重新拉集群,大概需要10分钟左右才能拉好集群,在集群创建好之前单击SparkUI会导致缓存空的projectID,从而导致无法查看SparkUI。建议使用专属队列,集群不会被释放,就不会有该问题,或者提交作业后等一段时间再查看SparkUI,确保集群已经拉好了,不要立即单击SparkUI。

        目前DLI配置SparkUI只展示最新的100条作业信息。

        default队列下运行的作业或者该作业为同步作业时不支持该操作。

      • 更多:以下操作根据SQL类型和运行状态的不同显示会有差异,请以实际界面为准。

        终止:正在运行或提交中的SQL支持终止操作。

        重新执行:重新执行该SQL语句。

        查看结果:QUERY作业支持查看作业执行结果。

        导出结果:QUERY作业这次导出作业运行结果到指定OBS路径下。

        归档日志:SQL语句运行日志存储的OBS路径。

        异步DDL和QUERY语句支持将结果下载到本地

        说明:

        default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。

    异步DDL和QUERY语句支持将结果下载到本地。操作如下:

    1. 单击执行成功的异步DDL或QUERY语句“操作”列中的“下载到本地”,在提示窗口单击“确认”。此时,“操作”列中的“下载到本地”将变为“立即下载”。

    2. 单击“立即下载”,将对应结果下载到本地。
  • 查看结果
    表5 SQL作业查看结果说明

    功能

    描述

    清空执行结果

    清空显示的SQL语句执行结果。

    以图形/表格的形式展示查询结果

    单击以图形/表格的形式展示查询结果。

    导出结果

    将作业运行结果导出至用户创建的OBS桶中。具体操作介绍请参考SQL作业管理

    下载结果

    单击异步DDL和QUERY语句支持将结果下载到本地。具体操作介绍请参考下载到本地

SQL查询操作步骤

  1. 登录数据湖探索管理控制台,选择SQL作业,单击“作业管理 > 创建作业”,进入“SQL编辑器”页面。

    进入“SQL编辑器”页面后,系统会提示“创建DLI临时数据桶”,用于存储使用DLI服务产生的临时数据。在“设置DLI作业桶”对话框中,点击“去设置”。在现实页面上点击DLI作业桶卡片右上角点击编辑符号。在弹出的“设置DLI作业桶””对话框,输入作业桶路径,并点击“确定”。

  2. 在SQL作业编辑窗口右上方的“队列”列表中选择所使用的队列。创建队列操作步骤请参见创建队列
  3. 在SQL作业编辑窗口右上方的“数据库”列表中选择所使用的数据库,例如选择数据库“qw”
  4. 创建表,例如表名为“qw”。创建数据库和表操作步骤请参见创建数据库和表
  5. 在SQL作业编辑窗口输入表“qw”的SQL查询语句:
    1
    SELECT * FROM qw.qw LIMIT 10;
    

    或者双击左侧表名“qw”,上述查询语句会自动在作业编辑窗口中输入。

  6. 单击“更多”中的“语法校验”,确认SQL语句书写是否正确。
    1. 若语法校验失败,请参考《数据湖探索SQL语法参考》,检查SQL语句准确性。
    2. 若语法校验通过,单击“执行”,阅读并同意隐私协议,单击“确定”后执行SQL语句。
    3. SQL语句执行成功后,在SQL作业编辑窗口下方会显示执行结果。

    当作业编辑窗口没有输入SQL语句时,单击“执行”按钮会提示“请先输入执行语句”。

  7. (可选)当前控制台界面查询结果最多显示1000条数据,如果需要查看更多或者全量数据,则可以单击将数据导出到OBS获取。
  8. (可选)在查看结果页签,单击以图形形式呈现查询结果。再单击切换回表格形式。
    • 若执行结果中无数值列,则无法进行图形化。
    • 图形类型包括柱状图、折线图、扇形图。
    • 柱状图和折线图的X轴可为任意一列,Y轴仅支持数值类型的列,扇形图对应图例和指标。

快速导入导入SQL语句的方法

  • 双击左侧导航栏列表中的表名,即可将选定表的查询语句导入SQL语句编辑窗口中,单击“执行”,即可完成查询。
  • 可以通过单击“更多”,选择“设为模板”,将对应的SQL语句保存为模板,供将来执行使用。

    需要使用时,单击“SQL编辑器”页面左侧导航“模板”,在已有模板中双击所需的SQL语句,导入SQL作业编辑窗口中,根据需要进行修改后执行。

    图4 设置为模板
分享:

    相关文档

    相关产品