更新时间:2022-05-19 GMT+08:00
分享

使用须知

以下根据您的角色推荐了不同的文档,从而帮助您更快速、更轻松地使用数据湖探索DLI服务。

如果您是初学者

如果您是大数据初学者,建议您先熟悉以下模块,了解DLI的基本功能和常用操作。

模块

说明

产品介绍

DLI服务的介绍文档,从服务的常用概念、产品优势、应用场景、计费说明、权限管理等多个方面进行介绍,让您初步了解数据湖探索DLI。

准备工作

DLI服务的快速使用指导,通过一些示例指导您快速完成如何准备帐号、准备环境、创建数据库及表、导入数据、运行SQL等操作。

快速入门

SQL编辑器

您需要在提交作业分析数据前掌握SQL编辑器的使用。

如果您是数据分析师

如果您是数据分析师,建议您先熟悉以下模块,掌握DLI支持的Spark、Flink等常用SQL语法,帮助你查询分析业务数据。

组件

模块

说明

Spark相关

数据库相关

在Spark场景下的创建数据库、删除数据库以及查看数据库等数据库操作语法。

表相关

在Spark场景下的创建表、修改表,删除表等语法。

跨源连接相关

跨源连接访问HBase、OpenTSDB、DWS、RDS、CSS、DCS及DDS场景的下的语法。

自定义函数

Spark支持通过创建自定义函数来满足更多的计算需求。

内置函数

支持数学函数、日期函数、字符串函数、聚合函数、分析窗口函数等内置函数进行数据分析。

Flink OpenSource SQL相关

数据定义语句DDL

  • 创建Kafka、DIS、JDBC、DWS、Redis、HBase、userDefined等source流获取数据,作为作业的输入数据。
  • 创建ClickHouse、Kafka、DIS、DWS、Redis、SMN、HBase、Elasticsearch及userDefined结果表,用于将Flink作业输出数据写入到该表中。
  • 创建JDBC、DWS、HBase的维表用于与Flink的输入流进行连接。

数据操作语句DML

支持查询、集合操作、窗口函数、JOIN等相关语法操作进行数据分析。

自定义函数

DLI支持的UDF自定义函数、UDTF自定义表值函数、UDAF自定义聚合函数的语法介绍和操作说明。

内置函数

DLI支持的数学运算函数、字符串函数、时间函数、条件函数、类型转换函数、集合函数、值构建函数、属性访问函数、Hash函数、聚合函数、表值函数语法介绍和使用示例。

Flink SQL相关

创建输入流

创建source流从CloudTable、DIS、DMS、EdgeHub、Kafka、OBS中获取数据,作为作业的输入数据。

创建输出流

DLI提供将作业的输出数据写入到CloudTable、OpenTSDB、Elasticsearch、DCS、DDS、DIS、DMS、DWS、HBase、RDS、Kafka中的语法操作。

创建中间流

中间流用来简化SQL逻辑,若SQL逻辑比较复杂,可以写多个SQL语句,用中间流进行串接。

创建维表

创建Redis、RDS的维表和Flink的输入流进行连接。

如果您是开发工程师

如果您拥有一定的开发经验,想要基于DLI现有能力进行更复杂的数据分析和开发,建议您学习和掌握以下功能模块。

模块

说明

开发指南

提供样例代码参考,您可以基于Flink、Spark的API进行二次开发,构建自己的应用Jar包,提交到DLI队列运行。

SDK参考

SDK是对DLI提供的REST API进行封装,便于您可以直接调用DLI SDK提供的接口函数实现使用DLI业务能力的目的。

API参考

您可以调用DLI提供的API接口完成数据分析等业务操作。

分享:

    相关文档

    相关产品

close