入门指引
以下根据您的角色推荐了不同的文档,从而帮助您更快速、更轻松地使用数据湖探索DLI服务。
如果您是初学者
如果您是大数据初学者,建议您先熟悉以下模块,了解DLI的基本功能和常用操作。
如果您是数据分析师
如果您是数据分析师,建议您先熟悉以下模块,掌握DLI支持的Spark、Flink等常用SQL语法,帮助你查询分析业务数据。
组件 |
模块 |
说明 |
---|---|---|
Spark相关 |
在Spark场景下的创建数据库、删除数据库以及查看数据库等数据库操作语法。 |
|
在Spark场景下的创建表、修改表,删除表等语法。 |
||
跨源连接访问HBase、OpenTSDB、DWS、RDS、CSS、DCS及DDS场景的下的语法。 |
||
Spark支持通过创建自定义函数来满足更多的计算需求。 |
||
支持数学函数、日期函数、字符串函数、聚合函数、分析窗口函数等内置函数进行数据分析。 |
||
Flink OpenSource SQL相关 |
|
|
支持查询、集合操作、窗口函数、JOIN等相关语法操作进行数据分析。 |
||
DLI支持的UDF自定义函数、UDTF自定义表值函数、UDAF自定义聚合函数的语法介绍和操作说明。 |
||
DLI支持的数学运算函数、字符串函数、时间函数、条件函数、类型转换函数、集合函数、值构建函数、属性访问函数、Hash函数、聚合函数、表值函数语法介绍和使用示例。 |
||
Flink SQL相关 |
创建source流从CloudTable、DIS、DMS、EdgeHub、Kafka、OBS中获取数据,作为作业的输入数据。 |
|
DLI提供将作业的输出数据写入到CloudTable、OpenTSDB、Elasticsearch、DCS、DDS、DIS、DMS、DWS、HBase、RDS、Kafka中的语法操作。 |
||
中间流用来简化SQL逻辑,若SQL逻辑比较复杂,可以写多个SQL语句,用中间流进行串接。 |
||
创建Redis、RDS的维表和Flink的输入流进行连接。 |