数据湖探索 DLI
数据湖探索 DLI
本产品内“
”的所有结果
本产品内“
”的所有结果
最新动态
功能总览
服务公告
产品公告
DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线(EOL)公告
DLI经典型跨源连接下线(EOL)公告
DLI Flink 1.10、Flink1.11版本停止服务(EOS)公告
DLI Spark 2.3.2版本停止服务(EOS)公告
DLI Flink 1.7版本停止服务(EOS)公告
版本支持公告
DLI计算引擎版本生命周期
Flink 1.15版本说明
Flink 1.12版本说明
Spark 3.3.1版本说明
Spark 3.1.1版本说明
Spark 2.4.5版本说明
产品介绍
图解数据湖探索
数据湖探索简介
产品优势
应用场景
约束与限制
产品规格
安全
责任共担
资产识别与管理
身份认证与访问控制
数据保护技术
审计与日志
服务韧性
监控安全风险
故障恢复
更新管理
认证证书
权限管理
配额管理
与其他云服务的关系
基本概念
计费说明
计费概述
弹性资源池计费
存储计费
扫描量计费
套餐包计费
计费样例
续费
续费概述
手动续费
自动续费
费用账单
欠费说明
停止计费
计费相关问题
DLI的计费模式有哪些?
包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗?
数据湖队列什么情况下是空闲状态?
怎样排查DLI计费异常?
已购买套餐包,为什么仍然产生按需计费?
怎样查看套餐包资源的使用情况?
怎样查看DLI的数据扫描量?
按需计费的弹性资源池,如果没提交作业运行就不计费?
想要使用扫描套餐包计费,购买队列还要额外收费吗?
超出套餐包额度的使用量怎么收费?
弹性资源池的实际CUs、CU范围、规格的含义
包年包月弹性资源池设置了定时扩缩容时,怎样计费?
快速入门
使用DLI提交SQL作业查询OBS数据
使用DLI提交SQL作业查询RDS MySQL数据
使用DLI提交Flink OpenSource SQL作业查询RDS MySQL数据
使用DLI提交Flink Jar作业
使用DLI提交Spark Jar作业
入门实践
用户指南
DLI作业开发流程
准备工作
配置DLI云服务委托权限
创建IAM用户并授权使用DLI
配置DLI作业桶
创建弹性资源池和队列
DLI弹性资源池与队列简介
创建弹性资源池并添加队列
管理弹性资源池
查看弹性资源池的基本信息
弹性资源池权限管理
弹性资源池关联队列
弹性资源池CU设置
弹性资源池规格变更
弹性资源池标签管理
调整弹性资源池中队列的扩缩容策略
查看弹性资源池扩缩容历史
分配弹性资源池至项目
管理队列
查看队列的基本信息
队列权限管理
分配队列至项目
创建消息通知主题
队列标签管理
队列属性设置
测试地址连通性
删除队列
变更普通队列规格
普通队列弹性扩缩容
设置普通队列的弹性扩缩容定时任务
修改普通队列的网段
典型场景示例:创建弹性资源池并运行作业
典型场景示例:配置弹性资源池队列扩缩容策略
创建非弹性资源池队列(废弃,不推荐使用)
创建数据库和表
了解数据目录、数据库和表
在DLI控制台创建数据库和表
查看表元数据
在DLI控制台管理数据库资源
在DLI控制台配置数据库权限
在DLI控制台删除数据库
在DLI控制台修改数据库所有者
库表管理标签管理
在DLI控制台管理表资源
在DLI控制台配置表权限
在DLI控制台删除表
在DLI控制台修改表所有者
将OBS数据导入至DLI
导出DLI表数据至OBS中
在DLI控制台预览表数据
创建并使用LakeFormation元数据
DLI对接LakeFormation
LakeFormation资源权限支持列表与策略项
数据迁移与数据传输
数据迁移与传输方式概述
迁移外部数据源数据至DLI
迁移数据场景概述
使用CDM迁移数据至DLI
典型场景示例:迁移Hive数据至DLI
典型场景示例:迁移Kafka数据至DLI
典型场景示例:迁移Elasticsearch数据至DLI
典型场景示例:迁移RDS数据至DLI
典型场景示例:迁移DWS数据至DLI
配置DLI读写外部数据源数据
配置DLI读写外部数据源数据的操作流程
配置DLI与数据源网络连通(增强型跨源连接)
增强型跨源连接概述
创建增强型跨源连接
建立DLI与共享VPC中资源的网络连接
DLI常用跨源分析开发方式
使用DEW管理数据源访问凭证
使用DLI的跨源认证管理数据源访问凭证
跨源认证概述
创建CSS类型跨源认证
创建Kerberos跨源认证
创建Kafka_SSL类型跨源认证
创建Password类型跨源认证
跨源认证权限管理
管理增强型跨源连接
查看增强型跨源连接的基本信息
增强型跨源连接权限管理
增强型跨源连接绑定弹性资源池
增强型跨源连接与弹性资源池解绑
添加增强型跨源连接的路由信息
删除增强型跨源连接的路由信息
修改弹性资源池的主机信息
增强型跨源连接标签管理
删除增强型跨源连接
典型场景示例:配置DLI与内网数据源的网络联通
典型场景示例:配置DLI 与公网网络连通
配置DLI访问其他云服务的委托权限
DLI委托概述
创建DLI自定义委托权限
常见场景的委托权限策略
典型场景DLI委托权限配置示例
使用DLI提交SQL作业
创建并提交SQL作业
导出SQL作业结果
配置SQL防御规则
设置SQL作业优先级
查询SQL作业日志
管理SQL作业
创建并管理SQL作业模板
创建SQL作业模板
使用SQL作业模板开发并提交SQL作业
DLI预置的SQL模板中TPC-H样例数据说明
使用DLI提交Flink作业
Flink作业概述
创建Flink OpenSource SQL作业
创建Flink Jar作业
配置Flink作业权限
管理Flink作业
查看Flink作业详情
设置Flink作业优先级
开启Flink作业动态扩缩容
查询Flink作业日志
Flink作业常用操作
管理Flink作业模板
添加Flink作业标签
使用DLI提交Spark作业
创建Spark作业
设置Spark作业优先级
查询Spark作业日志
管理Spark作业
管理Spark作业模板
使用CES监控DLI服务
使用AOM监控DLI服务
配置DLI对接AOM Prometheus监控
DLI对接AOM Prometheus监控的配置项
DLI支持的Prometheus基础监控指标
使用CTS审计DLI服务
权限管理
权限管理概述
DLI自定义策略
DLI资源
DLI请求条件
常用操作与系统权限关系
DLI常用管理操作
使用自定义镜像增强作业运行环境
管理DLI全局变量
管理Jar作业程序包
程序包管理概述
创建DLI程序包
配置DLI程序包权限
修改DLI程序包所有者
DLI程序包标签管理
DLI内置依赖包
管理DLI资源配额
最佳实践
最佳实践内容概览
数据迁移
数据迁移概览
迁移Hive数据至DLI
迁移Kafka数据至DLI
迁移Elasticsearch数据至DLI
迁移RDS数据至DLI
迁移DWS数据至DLI
数据分析
使用DLI进行车联网场景驾驶行为数据分析
使用DLI将CSV数据转换为Parquet数据
使用DLI进行电商BI报表分析
使用DLI进行账单分析与优化
使用DLI Flink SQL进行电商实时业务数据分析
永洪BI对接DLI提交Spark作业
永洪BI对接准备工作
永洪BI添加数据源
永洪BI创建数据集
永洪BI制作图表
队列网络联通
配置DLI队列与内网数据源的网络联通
配置DLI 队列与公网网络联通
开发指南
使用客户端工具连接DLI
使用JDBC提交SQL作业
下载并安装JDBC驱动包
使用JDBC连接DLI并提交SQL作业
DLI JDBC Driver支持的API列表
使用Spark-submit提交Spark Jar作业
使用Livy提交Spark Jar作业
SQL作业开发指南
使用Spark SQL作业分析OBS数据
在Spark SQL作业中使用UDF
在Spark SQL作业中使用UDTF
在Spark SQL作业中使用UDAF
Flink作业开发指南
流生态作业开发指引
Flink OpenSource SQL作业开发
从Kafka读取数据写入到RDS
从Kafka读取数据写入到DWS
从Kafka读取数据写入到Elasticsearch
从MySQL CDC源表读取数据写入到DWS
从PostgreSQL CDC源表读取数据写入到DWS
Flink作业高可靠推荐配置指导(异常自动重启)
Flink Jar作业开发基础样例
使用Flink Jar写入数据到OBS开发指南
使用Flink Jar连接开启SASL_SSL认证的Kafka
使用Flink Jar读写DIS开发指南
Flink作业委托场景开发指导
Flink Opensource SQL使用DEW管理访问凭据
Flink Jar 使用DEW获取访问凭证读写OBS
获取Flink作业委托临时凭证用于访问其他云服务
Spark Jar作业开发指南
使用Spark Jar作业读取和查询OBS数据
使用Spark作业访问DLI元数据
使用Spark作业跨源访问数据源
概述
对接CSS
CSS安全集群配置
scala样例代码
pyspark样例代码
java样例代码
对接DWS
scala样例代码
pyspark样例代码
java样例代码
对接HBase
MRS配置
scala样例代码
pyspark样例代码
java样例代码
故障处理
对接OpenTSDB
scala样例代码
pyspark样例代码
java样例代码
故障处理
对接RDS
scala样例代码
pyspark样例代码
java样例代码
对接Redis
scala样例代码
pyspark样例代码
java样例代码
故障处理
对接Mongo
scala样例代码
pyspark样例代码
java样例代码
Spark Jar 使用DEW获取访问凭证读写OBS
获取Spark作业委托临时凭证用于访问其他云服务
Spark SQL语法参考
Spark SQL常用配置项说明
Spark SQL语法概览
Spark开源命令支持说明
数据库相关
创建数据库
删除数据库
查看指定数据库
查看所有数据库
表相关
创建OBS表
使用DataSource语法创建OBS表
使用Hive语法创建OBS表
创建DLI表
使用DataSource语法创建DLI表
使用Hive语法创建DLI表
删除表
查看表
查看所有表
查看建表语句
查看表属性
查看指定表所有列
查看指定表所有分区
查看表统计信息
修改表
添加列
修改列注释
开启或关闭数据多版本
分区相关
添加分区(只支持OBS表)
重命名分区(只支持OBS表)
删除分区
指定筛选条件删除分区(只支持OBS表)
修改表分区位置(只支持OBS表)
更新表分区信息(只支持OBS表)
REFRESH TABLE刷新表元数据
多版本备份恢复数据
设置多版本备份数据保留周期
查看多版本备份数据
恢复多版本备份数据
配置多版本过期数据回收站
清理多版本数据
表生命周期管理
创建表时指定表的生命周期
修改表生命周期的时间
禁止或恢复表的生命周期
数据相关
导入数据
插入数据
清空数据
导出查询结果
跨源连接相关
跨源连接HBase表
创建DLI表关联HBase
插入数据至HBase表
查询HBase表
跨源连接OpenTSDB表
创建DLI表关联OpenTSDB
插入数据至OpenTSDB表
查询OpenTSDB表
跨源连接DWS表
创建DLI表关联DWS
插入数据至DWS表
查询DWS表
跨源连接RDS表
创建DLI表关联RDS
插入数据至RDS表
查询RDS表
跨源连接CSS表
创建DLI表关联CSS
插入数据至CSS表
查询CSS表
跨源连接DCS表
创建DLI表关联DCS
插入数据至DCS表
查询DCS表
跨源连接DDS表
创建DLI表关联DDS
插入数据至DDS表
查询DDS表
跨源连接Oracle表
创建DLI表关联Oracle
插入数据至Oracle表
查询Oracle表
视图相关
创建视图
删除视图
查看计划
数据权限相关
数据权限列表
创建角色
删除角色
绑定角色
解绑角色
显示角色
分配权限
回收权限
显示已授权限
显示所有角色和用户的绑定关系
数据类型
概述
原生数据类型
复杂数据类型
自定义函数
创建函数
删除函数
显示函数详情
显示所有函数
内置函数
日期函数
日期函数概览
add_months
current_date
current_timestamp
date_add
dateadd
date_sub
date_format
datediff
datediff1
datepart
datetrunc
day/dayofmonth
from_unixtime
from_utc_timestamp
getdate
hour
isdate
last_day
lastday
minute
month
months_between
next_day
quarter
second
to_char
to_date
to_date1
to_utc_timestamp
trunc
unix_timestamp
weekday
weekofyear
year
字符串函数
字符串函数概览
ascii
concat
concat_ws
char_matchcount
encode
find_in_set
get_json_object
instr
instr1
initcap
keyvalue
length
lengthb
levenshtein
locate
lower/lcase
lpad
ltrim
parse_url
printf
regexp_count
regexp_extract
replace
regexp_replace
regexp_replace1
regexp_instr
regexp_substr
repeat
reverse
rpad
rtrim
soundex
space
substr/substring
substring_index
split_part
translate
trim
upper/ucase
数学函数
数学函数概览
abs
acos
asin
atan
bin
bround
cbrt
ceil
conv
cos
cot1
degrees
e
exp
factorial
floor
greatest
hex
least
ln
log
log10
log2
median
negative
percentlie
percentlie_approx
pi
pmod
positive
pow
radians
rand
round
shiftleft
shiftright
shiftrightunsigned
sign
sin
sqrt
tan
聚合函数
聚合函数概览
avg
corr
count
covar_pop
covar_samp
max
min
percentile
percentile_approx
stddev_pop
stddev_samp
sum
variance/var_pop
var_samp
分析窗口函数
分析窗口函数概览
cume_dist
first_value
last_value
lag
lead
percent_rank
rank
row_number
其他函数
函数概览
decode1
javahash
max_pt
ordinal
trans_array
trunc_numeric
url_decode
url_encode
SELECT
基本语句
排序
ORDER BY
SORT BY
CLUSTER BY
DISTRIBUTE BY
分组
按列GROUP BY
按表达式GROUP BY
GROUP BY中使用HAVING
ROLLUP
GROUPING SETS
连接
内连接
左外连接
右外连接
全外连接
隐式连接
笛卡尔连接
左半连接
不等值连接
子句
FROM
OVER
WHERE
HAVING
多层嵌套子查询
别名SELECT
表别名
列别名
集合运算SELECT
UNION
INTERSECT
EXCEPT
WITH...AS
CASE...WHEN
简单CASE函数
CASE搜索函数
标示符
aggregate_func
alias
attr_expr
attr_expr_list
attrs_value_set_expr
boolean_expression
class_name
col
col_comment
col_name
col_name_list
condition
condition_list
cte_name
data_type
db_comment
db_name
else_result_expression
file_format
file_path
function_name
groupby_expression
having_condition
hdfs_path
input_expression
input_format_classname
jar_path
join_condition
non_equi_join_condition
number
num_buckets
output_format_classname
partition_col_name
partition_col_value
partition_specs
property_name
property_value
regex_expression
result_expression
row_format
select_statement
separator
serde_name
sql_containing_cte_name
sub_query
table_comment
table_name
table_properties
table_reference
view_name
view_properties
when_expression
where_condition
window_function
运算符
关系运算符
算术运算符
逻辑运算符
Flink SQL语法参考
Flink Opensource SQL1.15语法参考
SQL语法约束与定义
语法支持类型
保留关键字
DDL语法定义
CREATE TABLE语句
CREATE CATALOG语句
CREATE DATABASE语句
CREATE VIEW语句
CREATE FUNCTION语句
DML语法定义
Flink OpenSource SQL1.15语法概览
Flink OpenSource SQL 1.15版本使用说明
Format
Format概述
Avro Format
Canal Format
Confluent Avro Format
CSV Format
Debezium Format
JSON Format
Maxwell Format
Ogg Format
Orc Format
Parquet Format
Raw Format
Connector列表
Connector概述
BlackHole
ClickHouse
DataGen
Doris
Doris Connector概述
Doris源表
Doris结果表
Doris维表
DWS
DWS Connector概述
DWS源表(不推荐使用)
DWS结果表(不推荐使用)
DWS维表(不推荐使用)
Elasticsearch
对象存储OBS
对象存储OBS源表
对象存储OBS结果表
Hbase
Hbase源表
Hbase结果表
Hbase维表
Hive
创建Hive Catalog
Hive方言
Hive源表
Hive结果表
Hive维表
使用Temporal join关联维表的最新分区
使用Temporal join关联维表的最新版本
JDBC
Kafka
MySql CDC
Print
Redis
Redis源表
Redis结果表
Redis维表
Upsert Kafka
数据操作语句DML
SELECT
INSERT INTO
集合操作
窗口
窗口函数
窗口聚合
窗口Top-N
窗口去重
窗口关联
分组聚合
Over聚合
JOIN
OrderBy & Limit
Top-N
去重
函数
自定义函数
自定义函数类型推导
自定义函数参数传递
内置函数
比较函数
逻辑函数
算术函数
字符串函数
时间函数
条件函数
类型转换函数
集合函数
JSON函数
值构建函数
值获取函数
分组函数
Hash函数
聚合函数
表值函数
string_split
Flink Opensource SQL1.12语法参考
SQL语法约束与定义
语法支持类型
语法定义
DDL语法定义
CREATE TABLE语句
CREATE VIEW语句
CREATE FUNCTION语句
DML语法定义
Flink OpenSource SQL1.12语法概览
数据定义语句DDL
创建源表
DataGen源表
DWS源表
Hbase源表
JDBC源表
Kafka源表
MySQL CDC源表
Postgres CDC源表
Redis源表
Upsert Kafka源表
FileSystem源表
创建结果表
BlackHole结果表
ClickHouse结果表
DWS结果表
Elasticsearch结果表
Hbase结果表
JDBC结果表
Kafka结果表
Print结果表
Redis结果表
Upsert Kafka结果表
FileSystem结果表
创建维表
DWS维表
Hbase维表
JDBC维表
Redis维表
Format
Avro Format
Canal Format
Confluent Avro Format
CSV Format
Debezium Format
JSON Format
Maxwell Format
Raw Format
数据操作语句DML
SELECT
集合操作
窗口
JOIN
OrderBy & Limit
Top-N
去重
函数
自定义函数
自定义函数类型推导
自定义函数参数传递
内置函数
数学运算函数
字符串函数
时间函数
条件函数
类型转换函数
集合函数
值构建函数
属性访问函数
Hash函数
聚合函数
表值函数
string_split
Flink Opensource SQL1.10语法参考
SQL语法约束与定义
语法支持类型
语法定义
DDL语法定义
CREATE TABLE语句
CREATE VIEW语句
CREATE FUNCTION语句
DML语法定义
Flink OpenSource SQL1.10语法概览
数据定义语句DDL
创建源表
Kafka源表
DIS源表
JDBC源表
DWS源表
Redis源表
Hbase源表
userDefined源表
创建结果表
ClickHouse结果表
Kafka结果表
Upsert Kafka结果表
DIS结果表
JDBC结果表
DWS结果表
Redis结果表
SMN结果表
Hbase结果表
Elasticsearch结果表
OpenTSDB结果表
userDefined结果表
Print结果表
FileSytem结果表
创建维表
创建JDBC维表
创建DWS维表
创建Hbase维表
数据操作语句DML
SELECT
集合操作
窗口
JOIN
OrderBy & Limit
Top-N
去重
函数
自定义函数
内置函数
数学运算函数
字符串函数
时间函数
条件函数
类型转换函数
集合函数
值构建函数
属性访问函数
Hash函数
聚合函数
表值函数
split_cursor
string_split
历史版本
Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
Flink SQL语法约束与定义
Flink SQL语法概览
创建输入流
CloudTable HBase输入流
DIS输入流
DMS输入流
MRS Kafka输入流
开源Kafka输入流
OBS输入流
创建输出流
CloudTable HBase输出流
CloudTable OpenTSDB输出流
MRS OpenTSDB输出流
CSS Elasticsearch输出流
DCS输出流
DDS输出流
DIS输出流
DMS输出流
DWS输出流(通过JDBC方式)
DWS输出流(通过OBS转储方式)
MRS HBase输出流
MRS Kafka输出流
开源Kafka输出流
文件系统输出流(推荐)
OBS输出流
RDS输出流
SMN输出流
创建中间流
创建维表
创建Redis表
创建RDS表
自拓展生态
自拓展输入流
自拓展输出流
数据操作语句DML
SELECT
条件表达式
窗口
流表JOIN
数据类型
自定义函数
内置函数
数学运算函数
字符串函数
时间函数
类型转换函数
聚合函数
表值函数
其他函数
地理函数
配置时间模型
CEP模式匹配
StreamingML
异常检测
时间序列预测
实时聚类
深度学习模型预测
保留关键字
HetuEngine SQL语法参考
HetuEngine SQL语法
使用前必读
数据类型
数据类型介绍
布尔类型
整数类型
固定精度型
浮点型
字符类型
时间和日期类型
复杂类型
DDL 语法
CREATE SCHEMA
CREATE TABLE
CREATE TABLE AS
CREATE TABLE LIKE
CREATE VIEW
ALTER TABLE
ALTER VIEW
ALTER SCHEMA
DROP SCHEMA
DROP TABLE
DROP VIEW
TRUNCATE TABLE
COMMENT
VALUES
SHOW语法使用概要
SHOW SCHEMAS(DATABASES)
SHOW TABLES
SHOW TBLPROPERTIES TABLE|VIEW
SHOW TABLE/PARTITION EXTENDED
SHOW FUNCTIONS
SHOW PARTITIONS
SHOW COLUMNS
SHOW CREATE TABLE
SHOW VIEWS
SHOW CREATE VIEW
DML 语法
INSERT
DQL 语法
SELECT
WITH
GROUP BY
HAVING
UNION | INTERSECT | EXCEPT
ORDER BY
OFFSET
LIMIT | FETCH FIRST
TABLESAMPLE
UNNEST
JOINS
Subqueries
SELECT VIEW CONTENT
辅助命令语法
DESCRIBE
DESCRIBE FORMATTED COLUMNS
DESCRIBE DATABASE| SCHEMA
EXPLAIN
预留关键字
SQL函数和操作符
逻辑运算符
比较函数和运算符
条件表达式
Lambda 表达式
转换函数
数学函数和运算符
Bitwise函数
十进制函数和操作符
字符串函数和运算符
正则表达式函数
二进制函数和运算符
Json函数和运算符
日期、时间函数及运算符
聚合函数
窗口函数
数组函数和运算符
Map函数和运算符
URL函数
Geospatial函数
HyperLogLog函数
UUID函数
Color 函数
Teradata函数
Data masking函数
IP Address函数
Quantile digest函数
T-Digest函数
Set Digest函数
数据类型隐式转换
简介
隐式转换对照表
附录
本文样例表数据准备
常用数据源语法兼容性
API参考
API使用前必读
概述
调用说明
终端节点
约束与限制
基本概念
API概览
如何调用API
构造请求
认证鉴权
返回结果
API快速入门
创建并提交SQL作业
创建并提交Spark作业
创建并提交Flink作业
创建并使用跨源链接
权限相关API
数据赋权(用户或项目)
查看赋权对象使用者权限信息
全局变量相关API
创建全局变量
删除全局变量
修改全局变量
查询所有全局变量
资源标签相关API
批量添加资源标签
批量删除资源标签
查询资源实例数量
查询资源实例列表
查询指定资源类型的标签信息
查询指定资源实例的标签信息
增强型跨源连接相关API
创建增强型跨源连接
删除增强型跨源连接
查询增强型跨源连接列表
查询增强型跨源连接
绑定队列
解绑队列
修改主机信息
查询增强型跨源授权信息
创建路由
删除路由
跨源认证相关API
创建跨源认证
获取跨源认证列表
更新跨源认证
删除跨源认证
弹性资源池相关API
创建弹性资源池
查询所有弹性资源池
删除弹性资源池
修改弹性资源池信息
查询弹性资源池下所有队列
关联队列到弹性资源池
弹性资源池扩缩容历史记录
修改弹性资源池关联队列的扩缩容策略
队列相关API(推荐)
创建队列
删除队列
查询所有队列
查询队列详情
重启/扩容/缩容队列
创建指定地址连通性测试请求
查询指定地址连通性测试详情
SQL作业相关API
提交SQL作业(推荐)
取消作业(推荐)
查询所有作业
预览SQL作业查询结果
导出查询结果
查询作业状态
查询作业详细信息
检查SQL语法
查询作业执行进度信息
SQL模板相关API
保存SQL模板
查看所有SQL模板
更新SQL模板
删除SQL模板
Flink作业相关API
新建SQL作业
更新SQL作业
新建Flink Jar作业
更新Flink Jar作业
批量运行作业
查询作业列表
查询作业详情
查询作业执行计划
批量停止作业
删除作业
批量删除作业
导出Flink作业
导入Flink作业
生成Flink SQL作业的静态流图
Flink作业模板相关API
新建模板
更新模板
删除模板
查询模板列表
Flink作业管理相关API
触发Flink作业保存点
导入Flink作业保存点
Spark作业相关API
创建批处理作业
查询批处理作业列表
查询批处理作业详情
查询批处理作业状态
取消批处理作业
Spark作业模板相关API
创建作业模板
查询作业模板列表
修改作业模板
获取作业模板
权限策略和授权项
历史API
委托相关API(废弃)
获取DLI委托信息(废弃)
创建DLI委托(废弃)
分组资源相关API(废弃)
上传分组资源(废弃)
查询分组资源列表(废弃)
上传jar类型分组资源(废弃)
上传pyfile类型分组资源(废弃)
上传file类型分组资源(废弃)
查询组内资源包(废弃)
删除组内资源包(废弃)
修改组或资源包拥有者(废弃)
Spark批处理相关API(废弃)
查询批处理作业日志(废弃)
SQL作业相关API(废弃)
导入数据(废弃)
导出数据(废弃)
资源相关API(废弃)
数据库相关API(废弃)
创建数据库(废弃)
删除数据库(废弃)
查询所有数据库(废弃)
修改数据库用户(废弃)
表相关API(废弃)
创建表(废弃)
删除表(废弃)
查询所有表(废弃)
描述表信息(废弃)
预览表内容(废弃)
获取分区信息列表(废弃)
权限相关API(废弃)
队列赋权(废弃)
查看队列的使用者(废弃)
数据赋权(用户)(废弃)
查看数据库的使用者(废弃)
查看表的使用者(废弃)
查看表的用户权限(废弃)
队列相关API(废弃)
修改队列网段(废弃)
创建队列定时扩缩容计划(废弃)
查看队列定时扩缩容计划(废弃)
批量删除队列定时扩缩容计划(废弃)
单个删除队列定时扩缩容计划(废弃)
修改队列定时扩缩容计划(废弃)
跨源认证相关API(废弃)
创建跨源认证(废弃)
获取跨源认证列表(废弃)
更新跨源认证(废弃)
删除跨源认证(废弃)
增强型跨源连接相关API(废弃)
创建路由(废弃)
删除路由(废弃)
模板相关API(废弃)
查询所有SQL样例模板(废弃)
表相关API(废弃)
查询所有表(废弃)
SQL作业相关API(废弃)
提交SQL作业(废弃)
取消作业(废弃)
查询作业结果-方式一(废弃)
查询作业结果-方式二(废弃)
上传数据相关API(废弃)
对已创建的上传作业进行鉴权(废弃)
集群相关API(废弃)
创建集群(废弃)
删除集群(废弃)
获取指定集群信息(废弃)
获取全部集群信息(废弃)
Flink作业相关API(废弃)
查询作业监控信息(废弃)
OBS授权给DLI服务
经典型跨源连接相关API(废弃)
创建经典型跨源连接
删除经典型跨源连接
查询经典型跨源连接列表
查询经典型跨源连接
IEF相关API(废弃)
创建IEF消息通道(废弃)
边缘Flink作业状态上报(废弃)
边缘Flink作业Action回调(废弃)
IEF系统事件上报(废弃)
公共参数
状态码
错误码
获取项目ID
获取账号ID
SDK参考
DLI SDK简介
(推荐)DLI SDK V3
DLI SDK
DLI SDK功能矩阵
DLI SDK与API的对应关系
Java SDK
Java SDK概述
Java SDK环境配置
Java开发环境配置
SDK的获取与安装
初始化DLI客户端
OBS授权
队列相关
资源相关
SQL作业相关
数据库相关
表相关
作业相关
Flink作业相关
Spark作业相关
Flink作业模板相关
Python SDK
Python SDK概述
Python SDK环境配置
Python开发环境配置
SDK获取与安装
初始化DLI客户端
队列相关
资源相关
SQL作业相关
数据库相关
表相关
作业相关
Spark作业相关
场景代码示例
常见问题
DLI产品咨询类
DLI Flink与MRS Flink有什么区别?
DLI中的Spark组件与MRS中的Spark组件有什么区别?
怎样升级DLI作业的引擎版本
DLI的数据可存储在哪些地方
DLI是否支持导入其他租户共享OBS桶的数据?
区域和可用区
全局变量的使用中,一个子账号是否可以使用其他子账号创建的全局变量
怎样获取DLI作业样例(Demo)
DLI是否存在Apache Spark 命令注入漏洞(CVE-2022-33891)?
怎样管理在DLI上运行的作业
怎样修改DLI上已经创建好的表的字段名称?
DLI弹性资源池和队列类
怎样查看弹性资源池和作业的资源使用情况?
怎样判断当前DLI队列中的作业是否有积压?
怎样查看DLI队列负载?
怎样监控DLI队列上的作业异常?
怎样将老版本的Spark队列切换成通用型队列
在default队列执行DLI SQL失败,提示超时异常怎么办?
DLI数据库和表类
为什么在DLI控制台中查询不到表?
OBS表压缩率较高怎么办?
字符码不一致导致数据乱码怎么办?
删除表后再重新创建同名的表,需要对操作该表的用户和项目重新赋权吗?
DLI分区内表导入的文件不包含分区列的数据,导致数据导入完成后查询表数据失败怎么办?
创建OBS外表,由于OBS文件中的某字段存在换行符导致表字段数据错误怎么办?
join表时没有添加on条件,造成笛卡尔积查询,导致队列资源爆满,作业运行失败怎么办?
手动在OBS表的分区目录下添加了数据,但是无法查询到数据怎么办?
为什么insert overwrite覆盖分区表数据的时候,覆盖了全量数据?
跨源连接RDS表中create_date字段类型是datetime,为什么DLI中查出来的是时间戳呢?
SQL作业执行完成后,修改表名导致datasize不正确怎么办?
从DLI导入数据到OBS,数据量不一致怎么办?
增强型跨源连接类
增强型跨源连接绑定队列失败怎么办?
DLI增强型跨源连接DWS失败怎么办?
创建跨源成功但测试网络连通性失败怎么办?
怎样配置DLI队列与数据源的网络连通?
为什么DLI增强型跨源连接要创建对等连接?
DLI创建跨源连接,绑定队列一直在创建中怎么办?
新建跨源连接,显示已激活,但使用时提示communication link failure错误怎么办?
跨源访问MRS HBase,连接超时,日志未打印错误怎么办?
DLI跨源连接报错找不到子网怎么办?
跨源RDS表,执行insert overwrite提示Incorrect string value错误怎么办?
创建RDS跨源表提示空指针错误怎么办?
对跨源DWS表执行insert overwrite操作,报错:org.postgresql.util.PSQLException: ERROR: tuple concurrently updated
通过跨源表向CloudTable Hbase表导入数据,executor报错:RegionTooBusyException
通过DLI跨源写DWS表,非空字段出现空值异常怎么办?
更新跨源目的端源表后,未同时更新对应跨源表,导致insert作业失败怎么办?
RDS表有自增主键时怎样在DLI插入数据?
SQL作业类
SQL作业开发类
SQL作业使用咨询
如何合并小文件
DLI如何访问OBS桶中的数据
创建OBS表时怎样指定OBS路径
关联OBS桶中嵌套的JSON格式数据如何创建表
count函数如何进行聚合
怎样将一个区域中的DLI表数据同步到另一个区域中?
SQL作业如何指定表的部分字段进行表数据的插入
SQL作业运行慢如何定位
怎样查看DLI SQL日志?
怎样查看DLI的执行SQL记录?
执行SQL作业时产生数据倾斜怎么办?
SQL作业中存在join操作,因为自动广播导致内存不足,作业一直运行中
为什么SQL作业一直处于“提交中”?
SQL作业运维类
用户导表到OBS报“path obs://xxx already exists”错误
对两个表进行join操作时,提示:SQL_ANALYSIS_ERROR: Reference 't.id' is ambiguous, could be: t.id, t.id.;
执行查询语句报错:The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget.
执行查询语句报错:There should be at least one partition pruning predicate on partitioned table XX.YYY
LOAD数据到OBS外表报错:IllegalArgumentException: Buffer size too small. size
SQL作业运行报错:DLI.0002 FileNotFoundException
用户通过CTAS创建hive表报schema解析异常错误
在DataArts Studio上运行DLI SQL脚本,执行结果报org.apache.hadoop.fs.obs.OBSIOException错误
使用CDM迁移数据到DLI,迁移作业日志上报UQUERY_CONNECTOR_0001:Invoke DLI service api failed错误
SQL作业访问报错:File not Found
SQL作业访问报错:DLI.0003: AccessControlException XXX
SQL作业访问外表报错:DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{桶名}}: status [403]
执行SQL语句报错:The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget.
Flink作业类
Flink作业咨询类
DLI Flink作业支持哪些数据格式和数据源?
如何给子用户授权查看Flink作业?
Flink作业怎样设置“异常自动重启”?
Flink作业如何保存作业日志?
Flink作业管理界面对用户进行授权时提示用户不存在怎么办?
手动停止了Flink作业,再次启动时怎样从指定Checkpoint恢复?
DLI使用SMN主题,提示SMN主题不存在,怎么处理?
Flink SQL作业类
怎样将OBS表映射为DLI的分区表?
Flink SQL作业Kafka分区数增加或减少,怎样不停止Flink作业实现动态感知?
在Flink SQL作业中创建表使用EL表达式,作业运行提示DLI.0005错误怎么办?
Flink作业输出流写入数据到OBS,通过该OBS文件路径创建的DLI表查询无数据
Flink SQL作业运行失败,日志中有connect to DIS failed java.lang.IllegalArgumentException: Access key cannot be null错误
Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据
Flink Opensource SQL如何解析复杂嵌套 JSON?
Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致?
Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败
Kafka Sink配置发送失败重试机制
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中?
作业语义检验时提示DIS通道不存在怎么处理?
Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办?
Flink Jar作业类
Flink Jar作业是否支持上传配置文件,要如何操作?
Flink Jar 包冲突,导致作业提交失败
Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误
Flink Jar作业运行报错,报错信息为Authentication failed
Flink Jar作业设置backend为OBS,报错不支持OBS文件系统
Hadoop jar包冲突,导致Flink提交失败
Flink作业提交错误,如何定位
Flink作业性能调优类
Flink作业推荐配置指导
Flink作业性能调优
Flink作业重启后,如何保证不丢失数据?
Flink作业运行异常,如何定位
Flink作业重启后,如何判断是否可以从checkpoint恢复
DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中
Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办?
Spark作业相类
Spark作业开发类
Spark作业使用咨询
Spark如何将数据写入到DLI表中
通用队列操作OBS表如何设置AK/SK
如何查看DLI Spark作业的实际资源使用情况
将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库?
如何在DLI中运行复杂PySpark程序?
如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度
Spark jar 如何读取上传文件
添加Python包后,找不到指定的Python环境
为什么Spark jar 作业 一直处于“提交中”?
Spark作业运维类
运行Spark作业报java.lang.AbstractMethodError
Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误
有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403]
Spark作业运行大批量数据时上报作业运行超时异常错误
使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常
执行作业的用户数据库和表权限不足导致作业运行失败
为什么Spark3.x的作业日志中打印找不到global_temp数据库
在使用Spark2.3.x访问元数据时,DataSource语法创建avro类型的OBS表创建失败
DLI资源配额类
什么是用户配额?
怎样查看我的配额
如何申请扩大配额
DLI权限管理类
队列引擎版本升级后,在创建表时,提示权限不足怎么办?
什么是DLI分区表的列赋权?
更新程序包时提示权限不足怎么办?
执行SQL查询语句报错:DLI.0003: Permission denied for resource....
已经给表授权,但是提示无法查询怎么办?
表继承数据库权限后,对表重复赋予已继承的权限会报错吗?
为什么已有View视图的select权限,但是查询不了View?
提交作业时提示作业桶权限不足怎么办?
提示OBS Bucket没有授权怎么办?
DLI API类
如何获取AK/SK?
如何获取项目ID?
提交SQL作业时,返回“unsupported media Type”信息
创建SQL作业的API执行超过时间限制,运行超时报错
API接口返回的中文字符为乱码,如何解决?
视频帮助
SQL语法参考(即将下线)
手册下线说明
Spark SQL语法参考(即将下线)
批作业SQL常用配置项说明
批作业SQL语法概览
Spark开源命令支持说明
数据库
创建数据库
删除数据库
查看指定数据库
查看所有数据库
创建OBS表
使用DataSource语法创建OBS表
使用Hive语法创建OBS表
创建DLI表
使用DataSource语法创建DLI表
使用Hive语法创建DLI表
删除表
查看表
查看所有表
查看建表语句
查看表属性
查看指定表所有列
查看指定表所有分区
查看表统计信息
修改表
添加列
修改列注释
开启或关闭数据多版本
分区表相关
添加分区(只支持OBS表)
重命名分区(只支持OBS表)
删除分区
指定筛选条件删除分区(只支持OBS表)
修改表分区位置(只支持OBS表)
更新表分区信息(只支持OBS表)
REFRESH TABLE刷新表元数据
导入数据
插入数据
清空数据
导出查询结果
多版本备份恢复数据
设置多版本备份数据保留周期
查看多版本备份数据
恢复多版本备份数据
配置多版本过期数据回收站
清理多版本数据
表生命周期管理
创建表时指定表的生命周期
修改表生命周期的时间
禁止或恢复表的生命周期
跨源连接HBase表
创建DLI表关联HBase
插入数据至HBase表
查询HBase表
跨源连接OpenTSDB表
创建DLI表关联OpenTSDB
插入数据至OpenTSDB表
查询OpenTSDB表
跨源连接DWS表
创建DLI表关联DWS
插入数据至DWS表
查询DWS表
跨源连接RDS表
创建DLI表关联RDS
插入数据至RDS表
查询RDS表
跨源连接CSS表
创建DLI表关联CSS
插入数据至CSS表
查询CSS表
跨源连接DCS表
创建DLI表关联DCS
插入数据至DCS表
查询DCS表
跨源连接DDS表
创建DLI表关联DDS
插入数据至DDS表
查询DDS表
跨源连接Oracle表
创建DLI表关联Oracle
插入数据至Oracle表
查询Oracle表
视图
创建视图
删除视图
查看计划
数据权限管理
数据权限列表
创建角色
删除角色
绑定角色
解绑角色
显示角色
分配权限
回收权限
显示已授权限
显示所有角色和用户的绑定关系
数据类型
概述
原生数据类型
复杂数据类型
自定义函数
创建函数
删除函数
显示函数详情
显示所有函数
内置函数
日期函数
日期函数概览
add_months
current_date
current_timestamp
date_add
dateadd
date_sub
date_format
datediff
datediff1
datepart
datetrunc
day/dayofmonth
from_unixtime
from_utc_timestamp
getdate
hour
isdate
last_day
lastday
minute
month
months_between
next_day
quarter
second
to_char
to_date
to_date1
to_utc_timestamp
trunc
unix_timestamp
weekday
weekofyear
year
字符串函数
字符串函数概览
ascii
concat
concat_ws
char_matchcount
encode
find_in_set
get_json_object
instr
instr1
initcap
keyvalue
length
lengthb
levenshtein
locate
lower/lcase
lpad
ltrim
parse_url
printf
regexp_count
regexp_extract
replace
regexp_replace
regexp_replace1
regexp_instr
regexp_substr
repeat
reverse
rpad
rtrim
soundex
space
substr/substring
substring_index
split_part
translate
trim
upper/ucase
数学函数
数学函数概览
abs
acos
asin
atan
bin
bround
cbrt
ceil
conv
cos
cot1
degrees
e
exp
factorial
floor
greatest
hex
least
ln
log
log10
log2
median
negative
percentlie
percentlie_approx
pi
pmod
positive
pow
radians
rand
round
shiftleft
shiftright
shiftrightunsigned
sign
sin
sqrt
tan
聚合函数
聚合函数概览
avg
corr
count
covar_pop
covar_samp
max
min
percentile
percentile_approx
stddev_pop
stddev_samp
sum
variance/var_pop
var_samp
分析窗口函数
分析窗口函数概览
cume_dist
first_value
last_value
lag
lead
percent_rank
rank
row_number
其他函数
函数概览
decode1
javahash
max_pt
ordinal
trans_array
trunc_numeric
url_decode
url_encode
SELECT基本语句
过滤SELECT
WHERE过滤子句
HAVING过滤子句
排序SELECT
ORDER BY
SORT BY
CLUSTER BY
DISTRIBUTE BY
分组SELECT
按列GROUP BY
用表达式GROUP BY
GROUP BY中使用HAVING过滤
ROLLUP
GROUPING SETS
连接操作SELECT
内连接
左外连接
右外连接
全外连接
隐式连接
笛卡尔连接
左半连接
不等值连接
子查询
WHERE嵌套子查询
FROM子句嵌套子查询
HAVING子句嵌套子查询
多层嵌套子查询
别名SELECT
表别名
列别名
集合运算SELECT
UNION
INTERSECT
EXCEPT
WITH...AS
CASE...WHEN
简单CASE函数
CASE搜索函数
OVER子句
Flink Opensource SQL1.12语法参考
SQL语法约束与定义
语法支持类型
语法定义
DDL语法定义
CREATE TABLE语句
CREATE VIEW语句
CREATE FUNCTION语句
DML语法定义
Flink OpenSource SQL1.12语法概览
数据定义语句DDL
创建源表
DataGen源表
DWS源表
Hbase源表
JDBC源表
Kafka源表
MySQL CDC源表
Postgres CDC源表
Redis源表
Upsert Kafka源表
创建结果表
BlackHole结果表
ClickHouse结果表
DWS结果表
Elasticsearch结果表
Hbase结果表
JDBC结果表
Kafka结果表
Print结果表
Redis结果表
Upsert Kafka结果表
FileSystem结果表
创建维表
DWS维表
Hbase维表
JDBC维表
Redis维表
Format
Avro Format
Canal Format
Confluent Avro Format
CSV Format
Debezium Format
JSON Format
Maxwell Format
Raw Format
数据操作语句DML
SELECT
集合操作
窗口
JOIN
OrderBy & Limit
Top-N
去重
函数
自定义函数
内置函数
数学运算函数
字符串函数
时间函数
条件函数
类型转换函数
集合函数
值构建函数
属性访问函数
Hash函数
聚合函数
表值函数
string_split
Flink Opensource SQL1.10语法参考
SQL语法约束与定义
语法支持类型
语法定义
DDL语法定义
CREATE TABLE语句
CREATE VIEW语句
CREATE FUNCTION语句
DML语法定义
Flink OpenSource SQL1.10语法概览
数据定义语句DDL
创建源表
Kafka源表
DIS源表
JDBC源表
DWS源表
Redis源表
Hbase源表
userDefined源表
创建结果表
ClickHouse结果表
Kafka结果表
Upsert Kafka结果表
DIS结果表
JDBC结果表
DWS结果表
Redis结果表
SMN结果表
Hbase结果表
Elasticsearch结果表
OpenTSDB结果表
userDefined结果表
Print结果表
FileSytem结果表
创建维表
创建JDBC维表
创建DWS维表
创建Hbase维表
数据操作语句DML
SELECT
集合操作
窗口
JOIN
OrderBy & Limit
Top-N
去重
函数
自定义函数
内置函数
数学运算函数
字符串函数
时间函数
条件函数
类型转换函数
集合函数
值构建函数
属性访问函数
Hash函数
聚合函数
表值函数
split_cursor
string_split
历史版本(即将下线)
Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
SQL语法约束与定义
流作业SQL语法概览
创建输入流
CloudTable HBase输入流
DIS输入流
DMS输入流
EdgeHub输入流(EOS)
MRS Kafka输入流
开源Kafka输入流
OBS输入流
创建输出流
CloudTable HBase输出流
CloudTable OpenTSDB输出流
MRS OpenTSDB输出流
CSS Elasticsearch输出流
DCS输出流
DDS输出流
DIS输出流
DMS输出流
DWS输出流(通过JDBC方式)
DWS输出流(通过OBS转储方式)
EdgeHub输出流(EOS)
MRS HBase输出流
MRS Kafka输出流
开源Kafka输出流
文件系统输出流(推荐)
OBS输出流
RDS输出流
SMN输出流
创建中间流
创建维表
创建Redis表
创建RDS表
自拓展生态
自拓展输入流
自拓展输出流
数据类型
内置函数
数学运算函数
字符串函数
时间函数
类型转换函数
聚合函数
表值函数
其他函数
自定义函数
地理函数
SELECT
条件表达式
窗口
流表JOIN
配置时间模型
CEP模式匹配
StreamingML
异常检测
时间序列预测
实时聚类
深度学习模型预测
保留关键字
标示符
aggregate_func
alias
attr_expr
attr_expr_list
attrs_value_set_expr
boolean_expression
col
col_comment
col_name
col_name_list
condition
condition_list
cte_name
data_type
db_comment
db_name
else_result_expression
file_format
file_path
function_name
groupby_expression
having_condition
input_expression
join_condition
non_equi_join_condition
number
partition_col_name
partition_col_value
partition_specs
property_name
property_value
regex_expression
result_expression
select_statement
separator
sql_containing_cte_name
sub_query
table_comment
table_name
table_properties
table_reference
when_expression
where_condition
window_function
运算符
关系运算符
算术运算符
逻辑运算符
文档下载
通用参考
产品术语
云服务等级协议(SLA)
白皮书资源
支持区域
系统权限