全部文档
数据湖探索 DLI
数据湖探索 DLI
最新动态
功能总览
服务公告
产品公告
DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线(EOL)公告
DLI经典型跨源连接下线(EOL)公告
DLI Flink 1.10、Flink1.11版本停止服务(EOS)公告
DLI Spark 2.3.2版本停止服务(EOS)公告
DLI Flink 1.7版本停止服务(EOS)公告
版本支持公告
DLI计算引擎版本生命周期
Flink 1.12版本说明
Spark 3.1.1版本说明
Spark 2.4.5版本说明
产品介绍
图解数据湖探索
数据湖探索简介
产品优势
应用场景
约束与限制
安全
责任共担
资产识别与管理
身份认证与访问控制
数据保护技术
审计与日志
服务韧性
监控安全风险
故障恢复
更新管理
认证证书
权限管理
配额管理
与其他云服务的关系
基本概念
修订记录
计费说明
计费概述
计算计费
队列计费
弹性资源池计费
存储计费
扫描量计费
套餐包计费
计费样例
续费
续费概述
手动续费
自动续费
费用账单
欠费说明
停止计费
计费相关问题
DLI的计费模式有哪些?
包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗?
按需计费的DLI队列,如果没有提交作业运行就不计费?
数据湖队列什么情况下是空闲状态?
怎样排查DLI计费异常?
已购买套餐包,为什么仍然产生按需计费?
怎样查看套餐包资源的使用情况?
如何购买30cus规格资源?
购买了16CUs的按需计费的DLI队列,执行作业使用了2CUs怎么计费?
怎样查看DLI的数据扫描量?
按需计费的弹性资源池,如果没提交作业运行就不计费?
想要使用扫描套餐包计费,购买队列还要额外收费吗?
超出套餐包额度的使用量怎么收费?
弹性资源池的实际CUs、CU范围、规格的含义
包年包月弹性资源池设置了定时扩缩容时,怎样计费?
包年包月队列设置了定时扩缩容时,怎样计费?
修订记录
快速入门
入门指引
注册华为帐号并开通华为云
快速使用SQL语句查询数据
创建并提交Spark SQL作业
使用TPC-H样例模板开发并提交Spark SQL作业
创建并提交Spark Jar作业
创建并提交Flink OpenSource SQL作业
创建增强型跨源连接访问RDS
入门实践
修订记录
用户指南
DLI控制台总览
SQL编辑器
作业管理
概述
SQL作业管理
Flink作业管理
Flink作业管理概述
Flink作业权限管理
准备Flink作业数据
(推荐)创建Flink OpenSource SQL作业
创建Flink SQL作业
创建Flink Jar作业
操作Flink作业
Flink作业详情
标签管理
开启Flink作业动态扩缩容
Spark作业管理
Spark作业管理概述
创建Spark作业
设置作业优先级
购买套餐包
队列管理
队列管理概述
队列权限管理
创建队列
删除队列
分配队列至项目
修改队列网段
规格变更
队列弹性扩缩容
弹性扩缩容定时任务
测试地址联通性
创建消息通知主题
队列标签管理
队列属性设置
弹性资源池
使用前必读
弹性资源池概述
使用场景一:创建弹性资源池并运行作业
使用场景二:配置弹性资源池队列扩缩容策略
弹性资源池基本操作
创建弹性资源池
弹性资源池权限管理
弹性资源池添加队列
弹性资源池关联队列
弹性资源池队列管理
弹性资源池CU设置
弹性资源池规格变更
弹性资源池标签管理
查看弹性资源池扩缩容历史
分配弹性资源池至项目
数据管理
库表管理
库表管理概述
数据库权限管理
表权限管理
创建数据库和表
删除数据库和表
修改数据库和表所有者
导入数据
将DLI数据导出至OBS
查看元数据
预览数据
库表管理标签管理
程序包管理
程序包管理概述
程序包组和程序包权限管理
创建程序包
删除程序包
修改所有者
内置依赖包
作业模板
SQL模板管理
Flink模板管理
Spark模板管理
附录
SQL模板下TPC-H样例数据说明
增强型跨源连接(推荐)
增强型跨源连接概述
跨源分析开发方式
创建增强型跨源连接
删除增强型跨源连接
修改主机信息
绑定弹性资源池
解绑弹性资源池
添加路由
删除路由
增强型跨源连接权限管理
增强型跨源连接标签管理
经典型跨源连接(废弃,不推荐使用)
跨源认证
跨源认证概述
创建CSS类型跨源认证
创建Kerberos跨源认证
创建Kafka_SSL类型跨源认证
创建Password类型跨源认证
跨源认证权限管理
全局配置
全局变量
全局变量权限管理
工程配置
服务授权
自定义镜像
自定义镜像概述
下载基础镜像
使用自定义镜像
基础镜像组件说明
权限管理
权限管理概述
创建IAM用户并授权使用DLI
DLI自定义策略
DLI资源
DLI请求条件
常用操作与系统权限关系
其他常用操作
导入数据至DLI表的方式
数据湖探索监控指标说明及查看指导
云审计服务支持的DLI操作列表说明
配额管理
修订记录
开发指南
Spark SQL作业开发指南
使用Spark SQL作业分析OBS数据
在Spark SQL作业中使用UDF
在Spark SQL作业中使用UDTF
在Spark SQL作业中使用UDAF
使用JDBC提交Spark SQL作业
获取服务端连接地址
下载JDBC驱动包
认证
使用JDBC提交作业
JDBC API参考
Flink OpenSource SQL作业开发指南
从Kafka读取数据写入到RDS
从Kafka读取数据写入到DWS
从Kafka读取数据写入到Elasticsearch
从MySQL CDC源表读取数据写入到DWS
从PostgreSQL CDC源表读取数据写入到DWS
Flink作业高可靠推荐配置指导(异常自动重启)
Flink Jar作业开发指南
流生态作业开发指引
Flink Jar作业开发基础样例
使用Flink Jar写入数据到OBS开发指南
使用Flink Jar连接开启SASL_SSL认证的Kafka
使用Flink Jar读写DIS开发指南
Spark Jar作业开发指南
使用Spark Jar作业读取和查询OBS数据
使用Spark作业访问DLI元数据
使用Spark-submit提交Spark Jar作业
使用Livy提交Spark Jar作业
使用Spark作业跨源访问数据源
概述
对接CSS
CSS安全集群配置
scala样例代码
pyspark样例代码
java样例代码
对接DWS
scala样例代码
pyspark样例代码
java样例代码
对接HBase
MRS配置
scala样例代码
pyspark样例代码
java样例代码
故障处理
对接OpenTSDB
scala样例代码
pyspark样例代码
java样例代码
故障处理
对接RDS
scala样例代码
pyspark样例代码
java样例代码
对接Redis
scala样例代码
pyspark样例代码
java样例代码
故障处理
对接Mongo
scala样例代码
pyspark样例代码
java样例代码
修订记录
Spark SQL语法参考
Spark SQL常用配置项说明
Spark SQL语法概览
Spark开源命令支持说明
数据库相关
创建数据库
删除数据库
查看指定数据库
查看所有数据库
表相关
创建OBS表
使用DataSource语法创建OBS表
使用Hive语法创建OBS表
创建DLI表
使用DataSource语法创建DLI表
使用Hive语法创建DLI表
删除表
查看表
查看所有表
查看建表语句
查看表属性
查看指定表所有列
查看指定表所有分区
查看表统计信息
修改表
添加列
修改列注释
开启或关闭数据多版本
分区相关
添加分区(只支持OBS表)
重命名分区(只支持OBS表)
删除分区
指定筛选条件删除分区(只支持OBS表)
修改表分区位置(只支持OBS表)
更新表分区信息(只支持OBS表)
REFRESH TABLE刷新表元数据
多版本备份恢复数据
设置多版本备份数据保留周期
查看多版本备份数据
恢复多版本备份数据
配置多版本过期数据回收站
清理多版本数据
表生命周期管理
创建表时指定表的生命周期
修改表生命周期的时间
禁止或恢复表的生命周期
数据相关
导入数据
插入数据
清空数据
导出查询结果
跨源连接相关
跨源连接HBase表
创建DLI表关联HBase
插入数据至HBase表
查询HBase表
跨源连接OpenTSDB表
创建DLI表关联OpenTSDB
插入数据至OpenTSDB表
查询OpenTSDB表
跨源连接DWS表
创建DLI表关联DWS
插入数据至DWS表
查询DWS表
跨源连接RDS表
创建DLI表关联RDS
插入数据至RDS表
查询RDS表
跨源连接CSS表
创建DLI表关联CSS
插入数据至CSS表
查询CSS表
跨源连接DCS表
创建DLI表关联DCS
插入数据至DCS表
查询DCS表
跨源连接DDS表
创建DLI表关联DDS
插入数据至DDS表
查询DDS表
跨源连接Oracle表
创建DLI表关联Oracle
插入数据至Oracle表
查询Oracle表
视图相关
创建视图
删除视图
查看计划
数据权限相关
数据权限列表
创建角色
删除角色
绑定角色
解绑角色
显示角色
分配权限
回收权限
显示已授权限
显示所有角色和用户的绑定关系
数据类型
概述
原生数据类型
复杂数据类型
自定义函数
创建函数
删除函数
显示函数详情
显示所有函数
内置函数
日期函数
日期函数概览
add_months
current_date
current_timestamp
date_add
dateadd
date_sub
date_format
datediff
datediff1
datepart
datetrunc
day/dayofmonth
from_unixtime
from_utc_timestamp
getdate
hour
isdate
last_day
lastday
minute
month
months_between
next_day
quarter
second
to_char
to_date
to_date1
to_utc_timestamp
trunc
unix_timestamp
weekday
weekofyear
year
字符串函数
字符串函数概览
ascii
concat
concat_ws
char_matchcount
encode
find_in_set
get_json_object
instr
instr1
initcap
keyvalue
length
lengthb
levenshtein
locate
lower/lcase
lpad
ltrim
parse_url
printf
regexp_count
regexp_extract
replace
regexp_replace
regexp_replace1
regexp_instr
regexp_substr
repeat
reverse
rpad
rtrim
soundex
space
substr/substring
substring_index
split_part
translate
trim
upper/ucase
数学函数
数学函数概览
abs
acos
asin
atan
bin
bround
cbrt
ceil
conv
cos
cot1
degrees
e
exp
factorial
floor
greatest
hex
least
ln
log
log10
log2
median
negative
percentlie
percentlie_approx
pi
pmod
positive
pow
radians
rand
round
shiftleft
shiftright
shiftrightunsigned
sign
sin
sqrt
tan
聚合函数
聚合函数概览
avg
corr
count
covar_pop
covar_samp
max
min
percentile
percentile_approx
stddev_pop
stddev_samp
sum
variance/var_pop
var_samp
分析窗口函数
分析窗口函数概览
cume_dist
first_value
last_value
lag
lead
percent_rank
rank
row_number
其他函数
函数概览
decode1
javahash
max_pt
ordinal
trans_array
trunc_numeric
url_decode
url_encode
SELECT
基本语句
排序
ORDER BY
SORT BY
CLUSTER BY
DISTRIBUTE BY
分组
按列GROUP BY
按表达式GROUP BY
GROUP BY中使用HAVING
ROLLUP
GROUPING SETS
连接
内连接
左外连接
右外连接
全外连接
隐式连接
笛卡尔连接
左半连接
不等值连接
子句
FROM
OVER
WHERE
HAVING
多层嵌套子查询
别名SELECT
表别名
列别名
集合运算SELECT
UNION
INTERSECT
EXCEPT
WITH...AS
CASE...WHEN
简单CASE函数
CASE搜索函数
标示符
aggregate_func
alias
attr_expr
attr_expr_list
attrs_value_set_expr
boolean_expression
class_name
col
col_comment
col_name
col_name_list
condition
condition_list
cte_name
data_type
db_comment
db_name
else_result_expression
file_format
file_path
function_name
groupby_expression
having_condition
hdfs_path
input_expression
input_format_classname
jar_path
join_condition
non_equi_join_condition
number
num_buckets
output_format_classname
partition_col_name
partition_col_value
partition_specs
property_name
property_value
regex_expression
result_expression
row_format
select_statement
separator
serde_name
sql_containing_cte_name
sub_query
table_comment
table_name
table_properties
table_reference
view_name
view_properties
when_expression
where_condition
window_function
运算符
关系运算符
算术运算符
逻辑运算符
修订记录
Flink SQL语法参考
Flink Opensource SQL1.12语法参考
SQL语法约束与定义
语法支持类型
语法定义
DDL语法定义
CREATE TABLE语句
CREATE VIEW语句
CREATE FUNCTION语句
DML语法定义
Flink OpenSource SQL1.12语法概览
数据定义语句DDL
创建源表
DataGen源表
DWS源表
Hbase源表
JDBC源表
Kafka源表
MySQL CDC源表
Postgres CDC源表
Redis源表
Upsert Kafka源表
FileSystem源表
创建结果表
BlackHole结果表
ClickHouse结果表
DWS结果表
Elasticsearch结果表
Hbase结果表
JDBC结果表
Kafka结果表
Print结果表
Redis结果表
Upsert Kafka结果表
FileSystem结果表
创建维表
DWS维表
Hbase维表
JDBC维表
Redis维表
Format
Avro Format
Canal Format
Confluent Avro Format
CSV Format
Debezium Format
JSON Format
Maxwell Format
Raw Format
数据操作语句DML
SELECT
集合操作
窗口
JOIN
OrderBy & Limit
Top-N
去重
函数
自定义函数
自定义函数类型推导
自定义函数参数传递
内置函数
数学运算函数
字符串函数
时间函数
条件函数
类型转换函数
集合函数
值构建函数
属性访问函数
Hash函数
聚合函数
表值函数
string_split
Flink Opensource SQL1.10语法参考
SQL语法约束与定义
语法支持类型
语法定义
DDL语法定义
CREATE TABLE语句
CREATE VIEW语句
CREATE FUNCTION语句
DML语法定义
Flink OpenSource SQL1.10语法概览
数据定义语句DDL
创建源表
Kafka源表
DIS源表
JDBC源表
DWS源表
Redis源表
Hbase源表
userDefined源表
创建结果表
ClickHouse结果表
Kafka结果表
Upsert Kafka结果表
DIS结果表
JDBC结果表
DWS结果表
Redis结果表
SMN结果表
Hbase结果表
Elasticsearch结果表
OpenTSDB结果表
userDefined结果表
Print结果表
FileSytem结果表
创建维表
创建JDBC维表
创建DWS维表
创建Hbase维表
数据操作语句DML
SELECT
集合操作
窗口
JOIN
OrderBy & Limit
Top-N
去重
函数
自定义函数
内置函数
数学运算函数
字符串函数
时间函数
条件函数
类型转换函数
集合函数
值构建函数
属性访问函数
Hash函数
聚合函数
表值函数
split_cursor
string_split
历史版本
Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
Flink SQL语法约束与定义
Flink SQL语法概览
创建输入流
CloudTable HBase输入流
DIS输入流
DMS输入流
MRS Kafka输入流
开源Kafka输入流
OBS输入流
创建输出流
CloudTable HBase输出流
CloudTable OpenTSDB输出流
MRS OpenTSDB输出流
CSS Elasticsearch输出流
DCS输出流
DDS输出流
DIS输出流
DMS输出流
DWS输出流(通过JDBC方式)
DWS输出流(通过OBS转储方式)
MRS HBase输出流
MRS Kafka输出流
开源Kafka输出流
文件系统输出流(推荐)
OBS输出流
RDS输出流
SMN输出流
创建中间流
创建维表
创建Redis表
创建RDS表
自拓展生态
自拓展输入流
自拓展输出流
数据操作语句DML
SELECT
条件表达式
窗口
流表JOIN
数据类型
自定义函数
内置函数
数学运算函数
字符串函数
时间函数
类型转换函数
聚合函数
表值函数
其他函数
地理函数
配置时间模型
CEP模式匹配
StreamingML
异常检测
时间序列预测
实时聚类
深度学习模型预测
保留关键字
修订记录
最佳实践
最佳实践内容概览
数据迁移
数据迁移概览
迁移Hive数据至DLI
迁移Kafka数据至DLI
迁移Elasticsearch数据至DLI
迁移RDS数据至DLI
迁移DWS数据至DLI
数据分析
使用DLI进行车联网场景驾驶行为数据分析
使用DLI将CSV数据转换为Parquet数据
使用DLI进行电商BI报表分析
使用DLI进行账单分析与优化
使用DLI Flink SQL进行电商实时业务数据分析
永洪BI对接DLI提交Spark作业
永洪BI对接准备工作
永洪BI添加数据源
永洪BI创建数据集
永洪BI制作图表
FineBI工具对接DLI Trino
PowerBI工具对接DLI Trino
队列网络联通
配置DLI队列与内网数据源的网络联通
配置DLI 队列与公网网络联通
修订记录
SDK参考
DLI SDK简介
(推荐)DLI SDK V3
DLI SDK
DLI SDK功能矩阵
DLI SDK与API的对应关系
Java SDK
Java SDK概述
Java SDK环境配置
Java开发环境配置
SDK的获取与安装
初始化DLI客户端
OBS授权
队列相关
资源相关
SQL作业相关
数据库相关
表相关
作业相关
Flink作业相关
Spark作业相关
Flink作业模板相关
Python SDK
Python SDK概述
Python SDK环境配置
Python开发环境配置
SDK获取与安装
初始化DLI客户端
队列相关
资源相关
SQL作业相关
数据库相关
表相关
作业相关
Spark作业相关
修订记录
场景代码示例
API参考
API使用前必读
概述
调用说明
终端节点
约束与限制
基本概念
API概览
如何调用API
构造请求
认证鉴权
返回结果
API快速入门
创建队列
创建并提交SQL作业
创建并提交Spark作业
创建并提交Flink作业
创建并使用跨源链接
权限相关API
数据赋权(用户或项目)
查看赋权对象使用者权限信息
全局变量相关API
创建全局变量
删除全局变量
修改全局变量
查询所有全局变量
增强型跨源连接相关API
创建增强型跨源连接
删除增强型跨源连接
查询增强型跨源连接列表
查询增强型跨源连接
绑定队列
解绑队列
修改主机信息
查询增强型跨源授权信息
创建路由
删除路由
跨源认证相关API
创建跨源认证
获取跨源认证列表
更新跨源认证
删除跨源认证
弹性资源池相关API
创建弹性资源池
查询所有弹性资源池
删除弹性资源池
修改弹性资源池信息
查询弹性资源池下所有队列
关联队列到弹性资源池
修改弹性资源池关联队列的扩缩容策略
弹性资源池扩缩容历史记录
队列相关API(推荐)
创建队列
删除队列
查询所有队列
查询队列详情
重启/扩容/缩容队列
创建指定地址连通性测试请求
查询指定地址连通性测试详情
SQL作业相关API
提交SQL作业(推荐)
取消作业(推荐)
查询所有作业
预览SQL作业查询结果
查询作业状态
查询作业详细信息
检查SQL语法
查询作业执行进度信息
SQL模板相关API
保存SQL模板
查看所有SQL模板
更新SQL模板
删除SQL模板
Flink作业相关API
新建SQL作业
更新SQL作业
新建Flink Jar作业
更新Flink Jar作业
批量运行作业
查询作业列表
查询作业详情
查询作业执行计划
批量停止作业
删除作业
批量删除作业
导出Flink作业
导入Flink作业
生成Flink SQL作业的静态流图
Flink作业模板相关API
新建模板
更新模板
删除模板
查询模板列表
Spark作业相关API
创建批处理作业
查询批处理作业列表
查询批处理作业详情
查询批处理作业状态
取消批处理作业
Spark作业模板相关API
创建作业模板
查询作业模板列表
修改作业模板
获取作业模板
权限策略和授权项
历史API
委托相关API(废弃)
获取DLI委托信息(废弃)
创建DLI委托(废弃)
分组资源相关API(废弃)
上传分组资源(废弃)
查询分组资源列表(废弃)
上传jar类型分组资源(废弃)
上传pyfile类型分组资源(废弃)
上传file类型分组资源(废弃)
查询组内资源包(废弃)
删除组内资源包(废弃)
修改组或资源包拥有者(废弃)
Spark批处理相关API(废弃)
查询批处理作业日志(废弃)
SQL作业相关API(废弃)
导出查询结果(废弃)
导入数据(废弃)
导出数据(废弃)
资源相关API(废弃)
数据库相关API(废弃)
创建数据库(废弃)
删除数据库(废弃)
查询所有数据库(废弃)
修改数据库用户(废弃)
表相关API(废弃)
创建表(废弃)
删除表(废弃)
查询所有表(推荐)
描述表信息(废弃)
预览表内容(废弃)
获取分区信息列表(废弃)
权限相关API(废弃)
队列赋权(废弃)
查看队列的使用者(废弃)
数据赋权(用户)(废弃)
查看数据库的使用者(废弃)
查看表的使用者(废弃)
查看表的用户权限(废弃)
队列相关API(废弃)
修改队列网段(废弃)
创建队列定时扩缩容计划(废弃)
查看队列定时扩缩容计划(废弃)
批量删除队列定时扩缩容计划(废弃)
单个删除队列定时扩缩容计划(废弃)
修改队列定时扩缩容计划(废弃)
跨源认证相关API(废弃)
创建跨源认证(废弃)
获取跨源认证列表(废弃)
更新跨源认证(废弃)
删除跨源认证(废弃)
增强型跨源连接相关API(废弃)
创建路由(废弃)
删除路由(废弃)
模板相关API(废弃)
查询所有SQL样例模板(废弃)
表相关API(废弃)
查询所有表(废弃)
SQL作业相关API(废弃)
提交SQL作业(废弃)
取消作业(废弃)
查询作业结果-方式一(废弃)
查询作业结果-方式二(废弃)
上传数据相关API(废弃)
对已创建的上传作业进行鉴权(废弃)
集群相关API(废弃)
创建集群(废弃)
删除集群(废弃)
获取指定集群信息(废弃)
获取全部集群信息(废弃)
Flink作业相关API(废弃)
查询作业监控信息(废弃)
OBS授权给DLI服务
经典型跨源连接相关API(废弃)
创建经典型跨源连接
删除经典型跨源连接
查询经典型跨源连接列表
查询经典型跨源连接
IEF相关API(废弃)
创建IEF消息通道(废弃)
边缘Flink作业状态上报(废弃)
边缘Flink作业Action回调(废弃)
IEF系统事件上报(废弃)
公共参数
状态码
错误码
获取项目ID
获取帐号ID
修订记录
常见问题
Flink作业相关问题
使用咨询
DLI Flink作业支持哪些数据格式和数据源
如何给子用户授权查看Flink作业?
Flink作业设置“异常自动重启”
Flink作业如何保存作业日志
如何查看Flink作业输出结果?
Flink作业管理界面对用户进行授权时报用户不存在怎么办
手动停止了Flink作业,再次启动时没有提示从哪个Checkpoint恢复
DLI Flink 现在支持到哪个版本了?是否支持Flink 1.13?下一个版本是哪个版本?
DLI使用SMN主题,提示SMN主题不存在,怎么处理?
Flink SQL作业相关问题
Flink SQL作业的消费能力如何,即一天可以处理多大的数据量?
Flink SQL中的temp流中数据是否需要定期清理,如何清理?
创建Flink SQL作业时选择OBS桶,提示未授权
Flink SQL作业将OBS表映射为DLI的分区表
Flink SQL作业Kafka分区数增加或减少,不用停止Flink作业,实现动态感知
OBS表如何映射为DLI的分区表?
在Flink SQL作业中创建表使用EL表达式,作业运行报DLI.0005错误
Flink作业输出流写入数据到OBS,通过该OBS文件路径创建的DLI表查询无数据
Flink SQL作业运行失败,日志中有connect to DIS failed java.lang.IllegalArgumentException: Access key cannot be null错误
Flink SQL作业读取DIS数据报Not authorized错误
Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据
Flink Opensource SQL如何解析复杂嵌套 JSON?
Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致?
Flink SQL和Flink Opensource SQL的语法有什么区别?
Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败
Flink Jar作业相关问题
Flink Jar作业配置checkpoint保存到OBS
Flink Jar作业是否支持上传配置文件,要如何操作?
Flink Jar 包冲突,导致提交失败
Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误
Flink Jar作业运行报错,报错信息为Authentication failed
Flink Jar作业设置backend为OBS,报错不支持OBS文件系统
Hadoop jar包冲突,导致Flink提交失败
Flink jar 如何连接SASL_SSL?
性能调优
Flink作业推荐配置指导
Flink作业如何进行性能调优
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中?
Flink作业重启后,如何保证不丢失数据?
运维指导
Flink作业提交错误,如何定位
Flink作业运行异常,如何定位
Flink作业重启后,如何判断是否可以从checkpoint恢复
作业语义检验时提示DIS通道不存在怎么处理?
如何处理作业的OBS Bucket没有授权?
DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中
Kafka Sink配置发送失败重试机制
访问FlinkUI/SparkUI页面无法正常显示怎么办?
Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办?
Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办?
SQL作业相关问题
使用咨询
SQL作业使用咨询
作业开发
如何合并小文件
DLI如何访问OBS桶中的数据
创建OBS表时正确指定OBS路径
关联OBS桶中嵌套的JSON格式数据如何创建表
count函数如何进行聚合
如何将一个区域中的DLI表数据同步到另一个区域中?
SQL作业如何指定表的部分字段进行表数据的插入
怎样删除表数据?
作业运维报错
用户导表到OBS报“path obs://xxx already exists”错误
对两个表进行join操作时,提示:SQL_ANALYSIS_ERROR: Reference 't.id' is ambiguous, could be: t.id, t.id.;
执行查询语句报错:The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget.
执行查询语句报错:There should be at least one partition pruning predicate on partitioned table XX.YYY
LOAD数据到OBS外表报错:IllegalArgumentException: Buffer size too small. size
SQL作业运行报错:DLI.0002 FileNotFoundException
用户通过CTAS创建hive表报schema解析异常错误
在DataArts Studio上运行DLI SQL脚本,执行结果报org.apache.hadoop.fs.obs.OBSIOException错误
使用CDM迁移数据到DLI,迁移作业日志上报UQUERY_CONNECTOR_0001:Invoke DLI service api failed错误
SQL作业访问报错:File not Found
SQL作业访问报错:DLI.0003: AccessControlException XXX
SQL作业访问外表报错:DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{桶名}}: status [403]
执行SQL语句报错:The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget.
运维指导
SQL作业运行慢如何定位
查看DLI SQL日志
查看DLI的执行SQL记录
配置AE参数解决数据倾斜
DLI控制台中无法查询到对应表
OBS表压缩率较高
如何避免字符码不一致导致的乱码
删除表后再重新创建同名的表,需要对操作该表的用户和项目重新赋权
DLI分区内表导入的文件不包含分区列的数据,导致数据导入完成后查询表数据失败
创建OBS外表,因为OBS文件中的某字段存在回车换行符导致表字段数据错误
SQL作业中存在join操作,因为自动广播导致内存不足,作业一直运行中
join表时没有添加on条件,造成笛卡尔积查询,导致队列资源爆满,作业运行失败
手动在OBS表的分区目录下添加了数据,但是无法查询到该部分数据
为什么insert overwrite覆盖分区表数据的时候,覆盖了全量数据?
为什么SQL作业一直处于“提交中”?
跨源连接RDS表中create_date字段类型是datetime,为什么dli中查出来的是时间戳呢?
SQL作业执行完成后,修改表名导致datasize修改失败怎么办?
从DLI导入数据到OBS,为什么数据量出现差异?
Spark作业相关问题
使用咨询
Spark作业使用咨询
作业开发
Spark如何将数据写入到DLI表中
通用队列操作OBS表如何设置AK/SK
如何查看DLI Spark作业的实际资源使用情况
将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库?
如何在DLI中运行复杂PySpark程序?
Spark作业访问MySQL数据库的方案
如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度
Spark jar 如何读取上传文件
作业运维报错
运行Spark作业报java.lang.AbstractMethodError
Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误
有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403]
Spark作业运行大批量数据时上报作业运行超时异常错误
使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常
执行作业的用户数据库和表权限不足导致作业运行失败
为什么Spark3.x的作业日志中打印找不到global_temp数据库
在使用Spark2.3.x访问元数据时,DataSource语法创建avro类型的OBS表创建失败
运维指导
添加Python包后,找不到指定的Python环境
为什么Spark jar 作业 一直处于“提交中”?
产品咨询相关问题
使用咨询
什么是DLI
DLI适用哪些场景
DLI支持哪些数据格式
DLI Flink与MRS Flink有什么区别?
DLI中的Spark组件与MRS中的Spark组件有什么区别?
DLI的数据可存储在哪些地方
DLI表与OBS表的区别
不上传数据到OBS,如何使用DLI
DLI是否支持导入其他租户共享OBS桶的数据?
区域和可用区
全局变量的使用中,一个子帐号是否可以使用其他子帐号创建的全局变量
作业管理
如何获取DLI作业样例(Demo)
使用DLI运行几万个作业,如何管理?
DLI上已经创建好的表如何修改表字段名称?
隐私安全
DLI 是否存在Apache Spark 命令注入漏洞(CVE-2022-33891)?
计费相关问题
DLI的计费模式是怎样的?
包周期队列可以转按需队列吗?
创建的按需队列是否支持转包周期队列?
数据湖队列什么情况下是空闲状态?
如何排查计费
购买4000cus 规格资源,一次性购买3个月的和分3次购买,每次购买一个1月的,这两种付费方式的区别?
如何购买30cus规格资源?
在一个16CU的队列上运行Flink作业只用了2个CU, 如何计费?
想要使用扫描套餐包计费,购买队列还要额外收费吗?
配额相关问题
什么是用户配额?
怎样查看我的配额
如何申请扩大配额
Failed to create the database. {"error_code":"DLI.1028";"error_msg":"Already reached the maximum quota of databases:XXX". 提示配额不足,如何处理?
授权相关问题
使用咨询
DLI细粒度授权
如何理解DLI分区表的列赋权
运维指导
欠费导致权限不足
进行程序包更新操作时提示权限不足
执行SQL查询语句报错:DLI.0003: Permission denied for resource....
已经给表授权,但是再次报错无法查询怎么办?
表继承数据库权限后,对表重复赋予已继承的权限会报错吗?
为什么已有View视图的select权限,但是查询不了View?
队列相关问题
使用咨询
DLI队列管理是否支持修改描述内容
删除队列会导致数据库中的表数据丢失吗?
队列异常时,DLI怎么保证Spark作业的可靠性?
DLI如何进行队列异常监控?
运维指导
查看DLI队列负载
如何判断当前DLI队列中的作业是否有积压?
如何将老版本的Spark队列切换成通用型队列
为什么云监控CES服务看不到DLI队列的资源运行情况?
购买了64CU的队列资源,运行Spark作业时如何分配?
创建扩容任务时 ,提示Queue plans create failed. The plan xxx target cu is out of quota报错
在default队列执行DLI SQL失败,上报超时异常
怎样查看弹性资源池和作业的资源使用情况?
跨源连接相关问题
跨源连接问题
DLI增强型跨源连接为什么要创建对等连接
增强型跨源连接绑定队列失败
DLI增强型跨源连接DWS失败
创建跨源成功但测试网络连通性失败怎么办?
怎样配置DLI队列与数据源的网络连通?
DLI创建跨源连接,进行绑定队列一直在创建中怎么办?
按需队列怎样绑定跨源链接?
如何打通DLI和数据源的网络?
跨源分析问题
如何实现跨数据源查询
如何实现跨区域访问数据
创建DLI关联RDS表时,如果RDS表有自增主键或者其他自动填充的字段时,在DLI中插入数据时,对应字段如何填写?
跨源连接运维报错
新建跨源连接,显示已激活,但使用时报communication link failure错误
跨源访问MRS HBase,连接超时,日志未打印错误
DLI跨源连接报错找不到子网
跨源RDS表,执行insert overwrite报Incorrect string value错误
创建RDS跨源表报空指针错误
对跨源DWS表执行insert overwrite操作,报错:org.postgresql.util.PSQLException: ERROR: tuple concurrently updated
通过跨源表向CloudTable Hbase表导入数据,executor报错:RegionTooBusyException
通过DLI跨源写DWS表,非空字段出现空值异常
更新跨源目的端源表后,未同时更新对应跨源表,导致insert作业失败
使用API相关问题
如何获取AK/SK?
如何获取项目ID?
提交SQL作业时,返回“unsupported media Type”信息
不同帐号的调用API时的项目ID(Project ID)是固定的吗?
创建SQL作业的API执行超过时间限制,运行超时报错
API接口返回的中文字符为乱码,如何解决?
使用SDK相关问题
使用SDK查询SQL作业结果,如何设置超时时间?
服务器:请求dli.xxx,unable to resolve host address, 如何解决?
修订记录
视频帮助
SQL语法参考(即将下线)
手册下线说明
Spark SQL语法参考(即将下线)
批作业SQL常用配置项说明
批作业SQL语法概览
Spark开源命令支持说明
数据库
创建数据库
删除数据库
查看指定数据库
查看所有数据库
创建OBS表
使用DataSource语法创建OBS表
使用Hive语法创建OBS表
创建DLI表
使用DataSource语法创建DLI表
使用Hive语法创建DLI表
删除表
查看表
查看所有表
查看建表语句
查看表属性
查看指定表所有列
查看指定表所有分区
查看表统计信息
修改表
添加列
修改列注释
开启或关闭数据多版本
分区表相关
添加分区(只支持OBS表)
重命名分区(只支持OBS表)
删除分区
指定筛选条件删除分区(只支持OBS表)
修改表分区位置(只支持OBS表)
更新表分区信息(只支持OBS表)
REFRESH TABLE刷新表元数据
导入数据
插入数据
清空数据
导出查询结果
多版本备份恢复数据
设置多版本备份数据保留周期
查看多版本备份数据
恢复多版本备份数据
配置多版本过期数据回收站
清理多版本数据
表生命周期管理
创建表时指定表的生命周期
修改表生命周期的时间
禁止或恢复表的生命周期
跨源连接HBase表
创建DLI表关联HBase
插入数据至HBase表
查询HBase表
跨源连接OpenTSDB表
创建DLI表关联OpenTSDB
插入数据至OpenTSDB表
查询OpenTSDB表
跨源连接DWS表
创建DLI表关联DWS
插入数据至DWS表
查询DWS表
跨源连接RDS表
创建DLI表关联RDS
插入数据至RDS表
查询RDS表
跨源连接CSS表
创建DLI表关联CSS
插入数据至CSS表
查询CSS表
跨源连接DCS表
创建DLI表关联DCS
插入数据至DCS表
查询DCS表
跨源连接DDS表
创建DLI表关联DDS
插入数据至DDS表
查询DDS表
跨源连接Oracle表
创建DLI表关联Oracle
插入数据至Oracle表
查询Oracle表
视图
创建视图
删除视图
查看计划
数据权限管理
数据权限列表
创建角色
删除角色
绑定角色
解绑角色
显示角色
分配权限
回收权限
显示已授权限
显示所有角色和用户的绑定关系
数据类型
概述
原生数据类型
复杂数据类型
自定义函数
创建函数
删除函数
显示函数详情
显示所有函数
内置函数
日期函数
日期函数概览
add_months
current_date
current_timestamp
date_add
dateadd
date_sub
date_format
datediff
datediff1
datepart
datetrunc
day/dayofmonth
from_unixtime
from_utc_timestamp
getdate
hour
isdate
last_day
lastday
minute
month
months_between
next_day
quarter
second
to_char
to_date
to_date1
to_utc_timestamp
trunc
unix_timestamp
weekday
weekofyear
year
字符串函数
字符串函数概览
ascii
concat
concat_ws
char_matchcount
encode
find_in_set
get_json_object
instr
instr1
initcap
keyvalue
length
lengthb
levenshtein
locate
lower/lcase
lpad
ltrim
parse_url
printf
regexp_count
regexp_extract
replace
regexp_replace
regexp_replace1
regexp_instr
regexp_substr
repeat
reverse
rpad
rtrim
soundex
space
substr/substring
substring_index
split_part
translate
trim
upper/ucase
数学函数
数学函数概览
abs
acos
asin
atan
bin
bround
cbrt
ceil
conv
cos
cot1
degrees
e
exp
factorial
floor
greatest
hex
least
ln
log
log10
log2
median
negative
percentlie
percentlie_approx
pi
pmod
positive
pow
radians
rand
round
shiftleft
shiftright
shiftrightunsigned
sign
sin
sqrt
tan
聚合函数
聚合函数概览
avg
corr
count
covar_pop
covar_samp
max
min
percentile
percentile_approx
stddev_pop
stddev_samp
sum
variance/var_pop
var_samp
分析窗口函数
分析窗口函数概览
cume_dist
first_value
last_value
lag
lead
percent_rank
rank
row_number
其他函数
函数概览
decode1
javahash
max_pt
ordinal
trans_array
trunc_numeric
url_decode
url_encode
SELECT基本语句
过滤SELECT
WHERE过滤子句
HAVING过滤子句
排序SELECT
ORDER BY
SORT BY
CLUSTER BY
DISTRIBUTE BY
分组SELECT
按列GROUP BY
用表达式GROUP BY
GROUP BY中使用HAVING过滤
ROLLUP
GROUPING SETS
连接操作SELECT
内连接
左外连接
右外连接
全外连接
隐式连接
笛卡尔连接
左半连接
不等值连接
子查询
WHERE嵌套子查询
FROM子句嵌套子查询
HAVING子句嵌套子查询
多层嵌套子查询
别名SELECT
表别名
列别名
集合运算SELECT
UNION
INTERSECT
EXCEPT
WITH...AS
CASE...WHEN
简单CASE函数
CASE搜索函数
OVER子句
Flink Opensource SQL1.12语法参考
SQL语法约束与定义
语法支持类型
语法定义
DDL语法定义
CREATE TABLE语句
CREATE VIEW语句
CREATE FUNCTION语句
DML语法定义
Flink OpenSource SQL1.12语法概览
数据定义语句DDL
创建源表
DataGen源表
DWS源表
Hbase源表
JDBC源表
Kafka源表
MySQL CDC源表
Postgres CDC源表
Redis源表
Upsert Kafka源表
创建结果表
BlackHole结果表
ClickHouse结果表
DWS结果表
Elasticsearch结果表
Hbase结果表
JDBC结果表
Kafka结果表
Print结果表
Redis结果表
Upsert Kafka结果表
FileSystem结果表
创建维表
DWS维表
Hbase维表
JDBC维表
Redis维表
Format
Avro Format
Canal Format
Confluent Avro Format
CSV Format
Debezium Format
JSON Format
Maxwell Format
Raw Format
数据操作语句DML
SELECT
集合操作
窗口
JOIN
OrderBy & Limit
Top-N
去重
函数
自定义函数
内置函数
数学运算函数
字符串函数
时间函数
条件函数
类型转换函数
集合函数
值构建函数
属性访问函数
Hash函数
聚合函数
表值函数
string_split
Flink Opensource SQL1.10语法参考
SQL语法约束与定义
语法支持类型
语法定义
DDL语法定义
CREATE TABLE语句
CREATE VIEW语句
CREATE FUNCTION语句
DML语法定义
Flink OpenSource SQL1.10语法概览
数据定义语句DDL
创建源表
Kafka源表
DIS源表
JDBC源表
DWS源表
Redis源表
Hbase源表
userDefined源表
创建结果表
ClickHouse结果表
Kafka结果表
Upsert Kafka结果表
DIS结果表
JDBC结果表
DWS结果表
Redis结果表
SMN结果表
Hbase结果表
Elasticsearch结果表
OpenTSDB结果表
userDefined结果表
Print结果表
FileSytem结果表
创建维表
创建JDBC维表
创建DWS维表
创建Hbase维表
数据操作语句DML
SELECT
集合操作
窗口
JOIN
OrderBy & Limit
Top-N
去重
函数
自定义函数
内置函数
数学运算函数
字符串函数
时间函数
条件函数
类型转换函数
集合函数
值构建函数
属性访问函数
Hash函数
聚合函数
表值函数
split_cursor
string_split
历史版本(即将下线)
Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
SQL语法约束与定义
流作业SQL语法概览
创建输入流
CloudTable HBase输入流
DIS输入流
DMS输入流
EdgeHub输入流(EOS)
MRS Kafka输入流
开源Kafka输入流
OBS输入流
创建输出流
CloudTable HBase输出流
CloudTable OpenTSDB输出流
MRS OpenTSDB输出流
CSS Elasticsearch输出流
DCS输出流
DDS输出流
DIS输出流
DMS输出流
DWS输出流(通过JDBC方式)
DWS输出流(通过OBS转储方式)
EdgeHub输出流(EOS)
MRS HBase输出流
MRS Kafka输出流
开源Kafka输出流
文件系统输出流(推荐)
OBS输出流
RDS输出流
SMN输出流
创建中间流
创建维表
创建Redis表
创建RDS表
自拓展生态
自拓展输入流
自拓展输出流
数据类型
内置函数
数学运算函数
字符串函数
时间函数
类型转换函数
聚合函数
表值函数
其他函数
自定义函数
地理函数
SELECT
条件表达式
窗口
流表JOIN
配置时间模型
CEP模式匹配
StreamingML
异常检测
时间序列预测
实时聚类
深度学习模型预测
保留关键字
标示符
aggregate_func
alias
attr_expr
attr_expr_list
attrs_value_set_expr
boolean_expression
col
col_comment
col_name
col_name_list
condition
condition_list
cte_name
data_type
db_comment
db_name
else_result_expression
file_format
file_path
function_name
groupby_expression
having_condition
input_expression
join_condition
non_equi_join_condition
number
partition_col_name
partition_col_value
partition_specs
property_name
property_value
regex_expression
result_expression
select_statement
separator
sql_containing_cte_name
sub_query
table_comment
table_name
table_properties
table_reference
when_expression
where_condition
window_function
运算符
关系运算符
算术运算符
逻辑运算符
修订记录
文档下载
通用参考
产品术语
云服务等级协议(SLA)
白皮书资源
支持区域
系统权限