数据湖探索 DLI
数据湖探索 DLI
本产品内“
”的所有结果
本产品内“
”的所有结果
最新动态
功能总览
服务公告
产品公告
版本规划
DLI计算引擎版本生命周期
Flink 1.15版本说明
Flink 1.12版本说明
Spark 3.3.1版本说明
Spark 3.1.1版本说明
Spark 2.4.5版本说明
Spark 2.4.x与Spark 3.3.x版本差异对比
Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比
Spark 2.4.x与Spark 3.3.x版本在通用队列的差异对比
DLI datasourceV1表和datasourceV2表
Spark 2.4.x与Spark 3.3.x版本授权差异说明
历史公告
DLI Spark 3.1.1版本停止服务（EOS）公告
DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线（EOL）公告
DLI经典型跨源连接下线（EOL）公告
DLI Flink 1.10、Flink 1.11版本停止服务（EOS）公告
DLI Spark 2.3.2版本停止服务（EOS）公告
DLI Flink1.7版本停止服务（EOS）公告
产品介绍
图解数据湖探索
数据湖探索简介
产品优势
应用场景
约束与限制
DLI支持的开发工具
DLI生态对接
DLI“湖仓一体”
计算资源类型和产品规格
安全
责任共担
资产识别与管理
身份认证与访问控制
数据保护技术
审计与日志
服务韧性
监控安全风险
故障恢复
更新管理
认证证书
权限管理
配额管理
与其他云服务的关系
基本概念
计费说明
计费概述
弹性资源池计费
存储计费
扫描量计费
套餐包计费
计费样例
续费
续费概述
手动续费
自动续费
费用账单
欠费说明
停止计费
计费相关问题
DLI的计费模式有哪些？
包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗？
数据湖队列什么情况下是空闲状态？
怎样排查DLI计费异常？
已购买套餐包，为什么仍然产生按需计费？
怎样查看套餐包资源的使用情况？
怎样查看DLI的数据扫描量？
按需计费的弹性资源池，如果没提交作业运行就不计费？
想要使用扫描套餐包计费，购买队列还要额外收费吗？
超出套餐包额度的使用量怎么收费？
弹性资源池的实际CUs、CU范围、规格的含义
包年包月弹性资源池设置了定时扩缩容时，怎样计费？
快速入门
使用DLI提交SQL作业查询OBS数据
使用DLI提交SQL作业查询RDS MySQL数据
使用DLI提交Flink OpenSource SQL作业查询RDS MySQL数据
使用DLI提交Flink Jar作业
使用DLI提交Spark Jar作业
入门实践
用户指南
DLI作业开发流程
准备工作
配置DLI云服务委托权限
创建IAM用户并授权使用DLI
配置DLI作业桶
创建弹性资源池和队列
DLI弹性资源池与队列简介
创建弹性资源池并添加队列
管理弹性资源池
查看弹性资源池的基本信息
弹性资源池权限管理
弹性资源池关联队列
弹性资源池扩容或缩容
弹性资源池CU设置
弹性资源池规格变更
弹性资源池标签管理
调整弹性资源池中队列的扩缩容策略
查看弹性资源池扩缩容历史
分配弹性资源池至项目
管理队列
查看队列的基本信息
队列权限管理
分配队列至企业项目
创建消息通知主题
队列标签管理
队列属性设置
开启Spark Native算子优化
测试队列与数据源网络连通性
删除队列
变更非弹性资源池模式队列的规格
非弹性资源池模式队列弹性扩缩容
设置非弹性资源池模式队列的弹性扩缩容定时任务
修改非弹性资源池模式队列的网段
典型场景示例：创建弹性资源池并运行作业
典型场景示例：配置弹性资源池队列扩缩容策略
创建非弹性资源池队列（废弃，不推荐使用）
创建数据目录、数据库和表
了解数据目录、数据库和表
在DLI控制台创建数据目录、数据库和表
查看表元数据
在DLI控制台管理数据目录
在DLI控制台配置数据目录权限
在DLI控制台管理数据库资源
在DLI控制台配置数据库权限
在DLI控制台删除数据库
在DLI控制台修改数据库所有者
库表管理标签管理
在DLI控制台管理表资源
在DLI控制台配置表权限
在DLI控制台删除表
在DLI控制台修改表所有者
将OBS数据导入至DLI的表
导出DLI表数据至OBS中
在DLI控制台预览表数据
创建并使用LakeFormation元数据
DLI对接LakeFormation
LakeFormation资源权限支持列表与策略项
数据导入与数据迁移
数据迁移与传输方式概述
迁移外部数据源数据至DLI
迁移数据场景概述
使用CDM迁移数据至DLI
典型场景示例：迁移Hive数据至DLI
典型场景示例：迁移Kafka数据至DLI
典型场景示例：迁移Elasticsearch数据至DLI
典型场景示例：迁移RDS数据至DLI
典型场景示例：迁移DWS数据至DLI
配置DLI读写外部数据源数据
配置DLI读写外部数据源数据的操作流程
配置DLI与数据源网络连通（增强型跨源连接）
增强型跨源连接概述
创建增强型跨源连接
建立DLI与共享VPC中资源的网络连接
DLI常用跨源分析开发方式
使用DEW管理数据源访问凭证
使用DEW管理数据源访问凭证方法概述
Flink Opensource SQL使用DEW管理访问凭据
Flink Jar 使用DEW获取访问凭证读写OBS
获取Flink作业委托临时凭证用于访问其他云服务
Spark Jar 使用DEW获取访问凭证读写OBS
获取Spark作业委托临时凭证用于访问其他云服务
使用DLI的跨源认证管理数据源访问凭证
跨源认证概述
创建CSS类型跨源认证
创建Kerberos跨源认证
创建Kafka_SSL类型跨源认证
创建Password类型跨源认证
跨源认证权限管理
管理增强型跨源连接
查看增强型跨源连接的基本信息
增强型跨源连接权限管理
增强型跨源连接绑定弹性资源池
增强型跨源连接与弹性资源池解绑
添加增强型跨源连接的路由信息
删除增强型跨源连接的路由信息
修改弹性资源池的主机信息
增强型跨源连接标签管理
删除增强型跨源连接
典型场景示例：配置DLI与内网数据源的网络连通
典型场景示例：配置DLI与公网网络连通
配置DLI访问其他云服务的委托权限
DLI委托概述
创建DLI自定义委托权限
常见场景的委托权限策略
典型场景DLI委托权限配置示例
在DLI管理控制台提交SQL作业
创建并提交SQL作业
典型场景示例：使用Spark SQL作业分析OBS数据
导出SQL作业结果
配置SQL防御规则
设置SQL作业优先级
查询SQL作业日志
管理SQL作业
查看SQL执行计划
创建并管理SQL作业模板
创建SQL作业模板
使用SQL作业模板开发并提交SQL作业
DLI预置的SQL模板中TPC-H样例数据说明
在DataArts Studio开发DLI SQL作业
使用JDBC提交SQL作业
下载并安装JDBC驱动包
使用JDBC连接DLI并提交SQL作业
DLI JDBC Driver支持的API列表
在DLI管理控制台提交Flink作业
Flink作业概述
创建Flink OpenSource SQL作业
创建Flink Jar作业
配置Flink作业权限
管理Flink作业
查看Flink作业详情
设置Flink作业优先级
开启Flink作业动态扩缩容
查询Flink作业日志
Flink作业常用操作
管理Flink作业模板
添加Flink作业标签
在DLI管理控制台提交Spark作业
创建Spark作业
典型场景示例：使用Spark Jar作业读取和查询OBS数据
设置Spark作业优先级
查询Spark作业日志
管理Spark作业
管理Spark作业模板
在DataArts Studio开发DLI Spark作业
使用Notebook实例提交Spark作业
使用Livy提交Spark Jar作业
使用CES监控DLI服务
使用AOM监控DLI服务
配置DLI对接AOM Prometheus监控
DLI对接AOM Prometheus监控的配置项
DLI支持的Prometheus基础监控指标
使用CTS审计DLI服务
DLI权限管理
DLI权限体系概述
DLI权限管理
DLI权限管理概述
DLI权限列表
DLI授权操作指引
IAM权限管理
IAM权限管理概述
IAM授权的主体
IAM权限列表
通过IAM角色或策略授予使用DLI的权限
典型场景应用示例：创建用户组并授权使用DLI弹性资源池和数据库资源
DLI常用管理操作
使用自定义镜像增强作业运行环境
管理DLI全局变量
管理Jar作业程序包
程序包管理概述
创建DLI程序包
配置DLI程序包权限
修改DLI程序包所有者
DLI程序包标签管理
DLI内置依赖包
管理DLI资源配额
最佳实践
最佳实践内容概览
使用DLI分析车联网场景驾驶行为数据
使用DLI将CSV数据转换为Parquet数据
使用DLI分析电商BI报表
使用DLI分析账单消费数据
使用DLI分析电商实时业务数据
使用BI工具连接DLI分析数据
BI工具连接DLI方案概述
配置DBeaver连接DLI进行数据查询和分析
配置DBT连接DLI进行数据调度和分析
配置Grafana连接DLI进行数据查询和分析
配置YongHong BI连接DLI进行数据查询和分析
配置Superset连接DLI进行数据查询和分析
配置Power BI连接DLI进行数据查询和分析
配置Fine BI连接DLI进行数据查询和分析
配置Tableau通过Kyuubi连接DLI进行数据查询和分析
配置Beeline通过Kyuubi连接DLI进行数据查询和分析
配置DLI队列网络连通最佳实践
配置DLI队列与内网数据源的网络连通
配置DLI 队列与公网网络连通
DLI安全最佳实践
开发指南
使用客户端工具连接DLI
使用JDBC提交SQL作业
下载并安装JDBC驱动包
使用JDBC连接DLI并提交SQL作业
DLI JDBC Driver支持的API列表
使用Livy提交Spark Jar作业
SQL作业开发指南
使用Spark SQL作业分析OBS数据
在DataArts Studio开发DLI SQL作业
在Spark SQL作业中使用UDF
在Spark SQL作业中使用UDTF
在Spark SQL作业中使用UDAF
Flink作业开发指南
流生态作业开发指引
Flink OpenSource SQL作业开发
从Kafka读取数据写入到RDS
从Kafka读取数据写入到DWS
从Kafka读取数据写入到Elasticsearch
从MySQL CDC源表读取数据写入到DWS
从PostgreSQL CDC源表读取数据写入到DWS
Flink作业高可靠推荐配置指导（异常自动重启）
Flink Jar作业开发基础样例
使用Flink Jar写入数据到OBS开发指南
使用Flink Jar连接开启SASL_SSL认证的Kafka
使用Flink Jar读写DIS开发指南
Flink作业委托场景开发指导
Flink Opensource SQL使用DEW管理访问凭据
Flink Jar 使用DEW获取访问凭证读写OBS
获取Flink作业委托临时凭证用于访问其他云服务
Spark Jar作业开发指南
使用Spark Jar作业读取和查询OBS数据
使用Spark作业访问DLI元数据
使用Spark作业跨源访问数据源
概述
对接CSS
CSS安全集群配置
scala样例代码
pyspark样例代码
java样例代码
对接DWS
scala样例代码
pyspark样例代码
java样例代码
对接HBase
MRS配置
scala样例代码
pyspark样例代码
java样例代码
故障处理
对接OpenTSDB
scala样例代码
pyspark样例代码
java样例代码
故障处理
对接RDS
scala样例代码
pyspark样例代码
java样例代码
对接Redis
scala样例代码
pyspark样例代码
java样例代码
故障处理
对接MongoDB
scala样例代码
pyspark样例代码
java样例代码
Spark Jar 使用DEW获取访问凭证读写OBS
获取Spark作业委托临时凭证用于访问其他云服务
语法参考
Spark SQL语法参考
Spark SQL常用配置项说明
Spark SQL语法概览
Spark开源命令支持说明
数据库相关
创建数据库
删除数据库
查看指定数据库
查看所有数据库
表相关
创建OBS表
使用DataSource语法创建OBS表
使用Hive语法创建OBS表
创建DLI表
使用DataSource语法创建DLI表
使用Hive语法创建DLI表
删除表
查看表
查看所有表
查看建表语句
查看表属性
查看指定表所有列
查看指定表所有分区
查看表统计信息
修改表
添加列
修改列注释
开启或关闭数据多版本（废弃，不推荐使用）
分区相关
添加分区（只支持OBS表）
重命名分区（只支持OBS表）
删除分区
指定筛选条件删除分区（只支持OBS表）
修改表分区位置（只支持OBS表）
更新表分区信息（只支持OBS表）
REFRESH TABLE刷新表元数据
多版本备份恢复数据（废弃，不推荐使用）
设置多版本备份数据保留周期（废弃，不推荐使用）
查看多版本备份数据（废弃，不推荐使用）
恢复多版本备份数据（废弃，不推荐使用）
配置多版本过期数据回收站（废弃，不推荐使用）
清理多版本数据（废弃，不推荐使用）
表生命周期管理
创建表时指定表的生命周期
修改表生命周期的时间
禁止或恢复表的生命周期
数据相关
导入数据
插入数据
复用子查询
清空数据
导出查询结果
跨源连接相关
跨源连接HBase表
创建DLI表关联HBase
插入数据至HBase表
查询HBase表
跨源连接OpenTSDB表
创建DLI表关联OpenTSDB
插入数据至OpenTSDB表
查询OpenTSDB表
跨源连接DWS表
创建DLI表关联DWS
插入数据至DWS表
查询DWS表
跨源连接RDS表
创建DLI表关联RDS
插入数据至RDS表
查询RDS表
跨源连接CSS表
创建DLI表关联CSS
插入数据至CSS表
查询CSS表
跨源连接DCS表
创建DLI表关联DCS
插入数据至DCS表
查询DCS表
跨源连接DDS表
创建DLI表关联DDS
插入数据至DDS表
查询DDS表
跨源连接Oracle表
创建DLI表关联Oracle
插入数据至Oracle表
查询Oracle表
视图相关
创建视图
删除视图
查看计划
数据权限相关
数据权限列表
创建角色
删除角色
绑定角色
解绑角色
显示角色
分配权限
回收权限
显示已授权限
显示所有角色和用户的绑定关系
数据类型
概述
原生数据类型
复杂数据类型
自定义函数
创建函数
删除函数
显示函数详情
显示所有函数
内置函数
日期函数
日期函数概览
add_months
current_date
current_timestamp
date_add
dateadd
date_sub
date_format
datediff
datediff1
datepart
datetrunc
day/dayofmonth
from_unixtime
from_utc_timestamp
getdate
hour
isdate
last_day
lastday
minute
month
months_between
next_day
quarter
second
to_char
to_date
to_date1
to_utc_timestamp
trunc
unix_timestamp
weekday
weekofyear
year
字符串函数
字符串函数概览
ascii
concat
concat_ws
char_matchcount
encode
find_in_set
get_json_object
instr
instr1
initcap
keyvalue
length
lengthb
levenshtein
locate
lower/lcase
lpad
ltrim
parse_url
printf
regexp_count
regexp_extract
replace
regexp_replace
regexp_replace1
regexp_instr
regexp_substr
repeat
reverse
rpad
rtrim
soundex
space
substr/substring
substring_index
split_part
translate
trim
upper/ucase
数学函数
数学函数概览
abs
acos
asin
atan
bin
bround
cbrt
ceil
conv
cos
cot1
degrees
e
exp
factorial
floor
greatest
hex
least
ln
log
log10
log2
median
negative
percentile
percentile_approx
pi
pmod
positive
pow
radians
rand
round
shiftleft
shiftright
shiftrightunsigned
sign
sin
sqrt
tan
聚合函数
聚合函数概览
avg
corr
count
covar_pop
covar_samp
max
min
percentile
percentile_approx
stddev_pop
stddev_samp
sum
variance/var_pop
var_samp
分析窗口函数
分析窗口函数概览
cume_dist
first_value
last_value
lag
lead
percent_rank
rank
row_number
其他函数
函数概览
decode1
javahash
max_pt
ordinal
trans_array
trunc_numeric
url_decode
url_encode
SELECT
基本语句
排序
ORDER BY
SORT BY
CLUSTER BY
DISTRIBUTE BY
分组
按列GROUP BY
按表达式GROUP BY
GROUP BY中使用HAVING
ROLLUP
GROUPING SETS
连接
内连接
左外连接
右外连接
全外连接
隐式连接
笛卡尔连接
左半连接
不等值连接
子句
FROM
OVER
WHERE
HAVING
多层嵌套子查询
别名SELECT
表别名
列别名
集合运算SELECT
UNION
INTERSECT
EXCEPT
WITH...AS
CASE...WHEN
简单CASE函数
CASE搜索函数
标示符
aggregate_func
alias
attr_expr
attr_expr_list
attrs_value_set_expr
boolean_expression
class_name
col
col_comment
col_name
col_name_list
condition
condition_list
cte_name
data_type
db_comment
db_name
else_result_expression
file_format
file_path
function_name
groupby_expression
having_condition
hdfs_path
input_expression
input_format_classname
jar_path
join_condition
non_equi_join_condition
number
num_buckets
output_format_classname
partition_col_name
partition_col_value
partition_specs
property_name
property_value
regex_expression
result_expression
row_format
select_statement
separator
serde_name
sql_containing_cte_name
sub_query
table_comment
table_name
table_properties
table_reference
view_name
view_properties
when_expression
where_condition
window_function
运算符
关系运算符
算术运算符
逻辑运算符
Flink SQL语法参考
Flink Opensource SQL语法参考简介
Flink Opensource SQL1.15语法参考
SQL语法约束与定义
语法支持类型
保留关键字
DDL语法定义
CREATE TABLE语句
CREATE CATALOG语句
CREATE DATABASE语句
CREATE VIEW语句
CREATE FUNCTION语句
DML语法定义
Flink OpenSource SQL1.15语法概览
Flink OpenSource SQL 1.15版本使用说明
Format
Format概述
Avro Format
Canal Format
Confluent Avro Format
CSV Format
Debezium Format
JSON Format
Maxwell Format
Ogg Format
Orc Format
Parquet Format
Raw Format
Connector列表
Connector概述
BlackHole
ClickHouse
DataGen
Doris
Doris Connector概述
Doris源表
Doris结果表
Doris维表
DWS
DWS Connector概述
DWS源表（不推荐使用）
DWS结果表（不推荐使用）
DWS维表（不推荐使用）
Elasticsearch
对象存储OBS
对象存储OBS源表
对象存储OBS结果表
Hbase
Hbase源表
Hbase结果表
Hbase维表
Hive
创建Hive Catalog
Hive方言
Hive源表
Hive结果表
Hive维表
使用Temporal join关联维表的最新分区
使用Temporal join关联维表的最新版本
Hudi
Hudi源表
Hudi结果表
JDBC
Kafka
MySql CDC
Print
Redis
Redis源表
Redis结果表
Redis维表
Upsert Kafka
数据操作语句DML
SELECT
INSERT INTO
集合操作
窗口
窗口函数
窗口聚合
窗口Top-N
窗口去重
窗口关联
分组聚合
Over聚合
JOIN
OrderBy & Limit
Top-N
去重
函数
自定义函数
自定义函数类型推导
自定义函数参数传递
内置函数
比较函数
逻辑函数
算术函数
字符串函数
时间函数
条件函数
类型转换函数
集合函数
JSON函数
值构建函数
值获取函数
分组函数
Hash函数
聚合函数
表值函数
string_split
Flink Opensource SQL1.12语法参考
SQL语法约束与定义
语法支持类型
语法定义
DDL语法定义
CREATE TABLE语句
CREATE VIEW语句
CREATE FUNCTION语句
DML语法定义
Flink OpenSource SQL1.12语法概览
数据定义语句DDL
创建源表
DataGen源表
DWS源表
Hbase源表
JDBC源表
Kafka源表
MySQL CDC源表
Postgres CDC源表
Redis源表
Upsert Kafka源表
FileSystem源表
创建结果表
BlackHole结果表
ClickHouse结果表
DWS结果表
Elasticsearch结果表
Hbase结果表
JDBC结果表
Kafka结果表
Print结果表
Redis结果表
Upsert Kafka结果表
FileSystem结果表
创建维表
DWS维表
Hbase维表
JDBC维表
Redis维表
Format
Avro Format
Canal Format
Confluent Avro Format
CSV Format
Debezium Format
JSON Format
Maxwell Format
Raw Format
数据操作语句DML
SELECT
集合操作
窗口
JOIN
OrderBy & Limit
Top-N
去重
函数
自定义函数
自定义函数类型推导
自定义函数参数传递
内置函数
数学运算函数
字符串函数
时间函数
条件函数
类型转换函数
集合函数
值构建函数
属性访问函数
Hash函数
聚合函数
表值函数
string_split
Flink Opensource SQL1.10语法参考
SQL语法约束与定义
语法支持类型
语法定义
DDL语法定义
CREATE TABLE语句
CREATE VIEW语句
CREATE FUNCTION语句
DML语法定义
Flink OpenSource SQL1.10语法概览
数据定义语句DDL
创建源表
Kafka源表
DIS源表
JDBC源表
DWS源表
Redis源表
Hbase源表
userDefined源表
创建结果表
ClickHouse结果表
Kafka结果表
Upsert Kafka结果表
DIS结果表
JDBC结果表
DWS结果表
Redis结果表
SMN结果表
Hbase结果表
Elasticsearch结果表
OpenTSDB结果表
userDefined结果表
Print结果表
FileSytem结果表
创建维表
创建JDBC维表
创建DWS维表
创建Hbase维表
数据操作语句DML
SELECT
集合操作
窗口
JOIN
OrderBy & Limit
Top-N
去重
函数
自定义函数
内置函数
数学运算函数
字符串函数
时间函数
条件函数
类型转换函数
集合函数
值构建函数
属性访问函数
Hash函数
聚合函数
表值函数
split_cursor
string_split
HetuEngine SQL语法参考
HetuEngine SQL语法
使用前必读
数据类型
数据类型介绍
布尔类型
整数类型
固定精度型
浮点型
字符类型
时间和日期类型
复杂类型
DDL 语法
CREATE SCHEMA
CREATE TABLE
CREATE TABLE AS
CREATE TABLE LIKE
CREATE VIEW
ALTER TABLE
ALTER VIEW
ALTER SCHEMA
DROP SCHEMA
DROP TABLE
DROP VIEW
TRUNCATE TABLE
COMMENT
VALUES
SHOW语法使用概要
SHOW SCHEMAS（DATABASES）
SHOW TABLES
SHOW TBLPROPERTIES TABLE|VIEW
SHOW TABLE/PARTITION EXTENDED
SHOW STATS
SHOW FUNCTIONS
SHOW PARTITIONS
SHOW COLUMNS
SHOW CREATE TABLE
SHOW VIEWS
SHOW CREATE VIEW
DML 语法
INSERT
DQL 语法
SELECT
WITH
GROUP BY
HAVING
UNION | INTERSECT | EXCEPT
ORDER BY
OFFSET
LIMIT | FETCH FIRST
TABLESAMPLE
UNNEST
JOINS
Subqueries
SELECT VIEW CONTENT
辅助命令语法
DESCRIBE
DESCRIBE FORMATTED COLUMNS
DESCRIBE DATABASE| SCHEMA
EXPLAIN
ANALYZE
预留关键字
SQL函数和操作符
逻辑运算符
比较函数和运算符
条件表达式
Lambda 表达式
转换函数
数学函数和运算符
Bitwise函数
十进制函数和操作符
字符串函数和运算符
正则表达式函数
二进制函数和运算符
Json函数和运算符
日期、时间函数及运算符
聚合函数
窗口函数
数组函数和运算符
Map函数和运算符
URL函数
UUID函数
Color 函数
Teradata函数
Data masking函数
IP Address函数
Quantile digest函数
T-Digest函数
数据类型隐式转换
简介
隐式转换对照表
附录
本文样例表数据准备
常用数据源语法兼容性
Hudi SQL语法参考
Hudi表概述
Hudi表使用约束
Hudi查询类型
Hudi存储结构
DLI Hudi元数据
DLI Hudi开发规范
Hudi开发规范概述
Hudi数据表设计规范
Hudi表模型设计规范
Hudi表索引设计规范
Hudi表分区设计规范
Hudi数据表管理操作规范
Hudi数据表Compaction规范
Hudi数据表Clean规范
Hudi数据表Archive规范
Spark on Hudi开发规范
SparkSQL建表参数规范
Spark增量读取Hudi参数规范
Spark异步任务执行表compaction参数设置规范
Spark表数据维护规范
Bucket调优示例
创建Bucket索引表调优
Hudi表初始化
实时任务接入
离线Compaction配置
DLI中使用Hudi开发作业
在DLI使用Hudi提交Spark SQL作业
在DLI使用Hudi提交Spark Jar作业
在DLI使用Hudi提交Flink SQL作业
使用HetuEngine on Hudi
DLI Hudi SQL语法参考
Hudi DDL语法说明
CREATE TABLE
DROP TABLE
SHOW TABLE
TRUNCATE TABLE
Hudi DML语法说明
CREATE TABLE AS SELECT
INSERT INTO
MERGE INTO
UPDATE
DELETE
COMPACTION
ARCHIVELOG
CLEAN
CLEANARCHIVE
Hudi CALL COMMAND语法说明
CLEAN_FILE
SHOW_TIME_LINE
SHOW_HOODIE_PROPERTIES
ROLL_BACK
CLUSTERING
CLEANING
COMPACTION
SHOW_COMMIT_FILES
SHOW_FS_PATH_DETAIL
SHOW_LOG_FILE
SHOW_INVALID_PARQUET
Schema演进语法说明
ALTER COLUMN
ADD COLUMNS
RENAME COLUMN
RENAME TABLE
SET
DROP COLUMN
配置Hudi数据列默认值
Spark datasource API语法参考
API语法说明
Hudi锁配置说明
数据管理维护
Hudi Compaction操作说明
Hudi Clean操作说明
Hudi Archive操作说明
Hudi Clustering操作说明
Hudi常见配置参数
Delta SQL语法参考
DLI Delta表概述
DLI中使用Delta开发作业
DLI Delta元数据
在DLI使用Delta提交Spark Jar作业
Delta Time Travel
查看Delta表历史操作记录
查询Delta表历史版本数据
还原Delta表到早期状态
Delta清理和优化
Delta SQL语法参考
Delta DDL语法说明
CREATE TABLE
DROP TABLE
DESCRIBE
ADD CONSTRAINT
DROP CONSTRAINT
CONVERT TO DELTA
SHALLOW CLONE
Delta DML语法说明
INSERT
CREATE TABLE AS SELECT
MERGE INTO
UPDATE
DELETE
VACUUM
RESTORE
OPTIMIZE
Schema演进语法说明
ALTER COLUMN
ADD COLUMNS
RENAME COLUMN
RENAME TABLE
DROP COLUMN
Delta常见配置参数
DLI Delta常见问题
API参考
API使用前必读
API概览
如何调用API
构造请求
认证鉴权
返回结果
API快速入门
创建并提交SQL作业
创建并提交Spark作业
创建并提交Flink作业
创建并使用跨源链接
权限相关API
数据赋权（用户或项目）
查看赋权对象使用者权限信息
全局变量相关API
创建全局变量
删除全局变量
修改全局变量
查询所有全局变量
数据目录相关API
获取项目下所有Catalog信息
描述Catalog信息
绑定/解绑catalog映射信息
资源标签相关API
批量添加资源标签
批量删除资源标签
查询资源实例数量
查询资源实例列表
查询指定资源类型的标签信息
查询指定资源实例的标签信息
增强型跨源连接相关API
创建增强型跨源连接
删除增强型跨源连接
查询增强型跨源连接列表
查询增强型跨源连接
绑定队列
解绑队列
修改主机信息
查询增强型跨源授权信息
创建路由
删除路由
跨源认证相关API
创建跨源认证
获取跨源认证列表
更新跨源认证
删除跨源认证
配额相关API
查询配额
弹性资源池相关API
创建弹性资源池
查询所有弹性资源池
删除弹性资源池
修改弹性资源池信息
查询弹性资源池下所有队列
关联队列到弹性资源池
弹性资源池扩缩容历史记录
修改弹性资源池关联队列的扩缩容策略
创建包周期弹性资源池
包周期弹性资源池规格变更下单接口
队列相关API（推荐）
创建队列
删除队列
查询所有队列
查询队列详情
重启/扩容/缩容队列
创建指定地址连通性测试请求
查询指定地址连通性测试详情
新增队列属性
获取队列属性
更新队列属性
删除队列属性
SQL作业相关API
提交SQL作业（推荐）
取消作业（推荐）
查询所有作业
预览SQL作业查询结果
导出查询结果
查询作业状态
查询作业详细信息
检查SQL语法
查询作业执行进度信息
SQL模板相关API
保存SQL模板
查看所有SQL模板
更新SQL模板
删除SQL模板
SQL作业拦截规则
创建SQL拦截规则
批量获取SQL拦截规则
更新SQL拦截规则
删除SQL拦截规则
获取SQL拦截规则
批量获取系统预置SQL拦截规则
获取单个系统预置SQL拦截规则
Flink作业相关API
新建SQL作业
更新SQL作业
新建Flink Jar作业
更新Flink Jar作业
批量运行作业
查询作业列表
查询作业详情
查询作业执行计划
批量停止作业
删除作业
批量删除作业
导出Flink作业
导入Flink作业
生成Flink SQL作业的静态流图
Flink作业模板相关API
新建模板
更新模板
删除模板
查询模板列表
Flink作业管理相关API
触发Flink作业保存点
导入Flink作业保存点
Spark作业相关API
创建批处理作业
查询批处理作业列表
查询批处理作业详情
查询批处理作业状态
取消批处理作业
Spark作业模板相关API
创建作业模板
查询作业模板列表
修改作业模板
获取作业模板
权限策略和授权项
历史API
委托相关API（废弃）
获取DLI委托信息（废弃）
创建DLI委托（废弃）
分组资源相关API（废弃）flink1.15以及spark331之后功能废弃
上传分组资源（废弃）
查询分组资源列表（废弃）
上传jar类型分组资源（废弃）
上传pyfile类型分组资源（废弃）
上传file类型分组资源（废弃）
查询组内资源包（废弃）
删除组内资源包（废弃）
修改组或资源包拥有者（废弃）
Spark批处理相关API（废弃）
查询批处理作业日志（废弃）
SQL作业相关API（废弃）
导入数据（废弃）
导出数据（废弃）
资源相关API（废弃）
数据库相关API（废弃）
创建数据库（废弃）
删除数据库（废弃）
查询所有数据库（废弃）
修改数据库用户（废弃）
表相关API（废弃）
创建表（废弃）
删除表（废弃）
查询所有表（废弃）
描述表信息（废弃）
预览表内容（废弃）
修改表用户（废弃）
获取分区信息列表（废弃）
权限相关API（废弃）
队列赋权（废弃）
查看队列的使用者（废弃）
数据赋权（用户）（废弃）
查看数据库的使用者（废弃）
查看表的使用者（废弃）
查看表的用户权限（废弃）
队列相关API（废弃）
修改队列网段（废弃）
创建队列定时扩缩容计划（废弃）
查看队列定时扩缩容计划（废弃）
批量删除队列定时扩缩容计划（废弃）
单个删除队列定时扩缩容计划（废弃）
修改队列定时扩缩容计划（废弃）
跨源认证相关API（废弃）
创建跨源认证（废弃）
获取跨源认证列表（废弃）
更新跨源认证（废弃）
删除跨源认证（废弃）
增强型跨源连接相关API（废弃）
创建路由（废弃）
删除路由（废弃）
模板相关API（废弃）
查询所有SQL样例模板（废弃）
表相关API（废弃）
查询所有表（废弃）
SQL作业相关API（废弃）
提交SQL作业（废弃）
取消作业（废弃）
查询作业结果（方式一）（废弃）
查询作业结果（方式二）（废弃）
上传数据相关API（废弃）
对已创建的上传作业进行鉴权（废弃）
集群相关API（废弃）
创建集群（废弃）
删除集群（废弃）
获取指定集群信息（废弃）
获取全部集群信息（废弃）
Flink作业相关API（废弃）
查询作业监控信息（废弃）
OBS授权给DLI服务（废弃）
经典型跨源连接相关API（废弃）
创建经典型跨源连接（废弃）
删除经典型跨源连接（废弃）
查询经典型跨源连接列表（废弃）
查询经典型跨源连接（废弃）
IEF相关API（废弃）
创建IEF消息通道（废弃）
边缘Flink作业状态上报（废弃）
边缘Flink作业Action回调（废弃）
IEF系统事件上报（废弃）
公共参数
状态码
错误码
获取项目ID
获取账号ID
SDK参考
DLI SDK简介
Java SDK环境配置
Java开发环境配置
Java SDK的获取与安装
初始化DLI客户端
Python SDK环境配置
Python开发环境配置
Python SDK获取与安装
初始化DLI客户端
通用SDK V3
DLI SDK V2
Java SDK（DLI SDK V2）
使用SDK提交SQL作业
使用SDK提交Flink SQL作业
使用SDK提交Flink Jar作业
使用SDK提交Spark作业
Python SDK（DLI SDK V2）
使用SDK提交SQL作业
使用SDK提交Flink SQL作业
使用SDK提交Flink Jar作业
使用SDK提交Spark作业
DLI SDK V1（不推荐使用）
DLI SDK V1功能矩阵
DLI SDK V1与API的对应关系
Java SDK（DLI SDK V1）
Java SDK概述
队列相关
资源相关
SQL作业相关
数据库相关
表相关
作业相关
Flink作业相关
Spark作业相关
Flink作业模板相关
Python SDK（DLI SDK V1）
Python SDK概述
队列相关
资源相关
SQL作业相关
数据库相关
表相关
作业相关
Spark作业相关
修订记录
场景代码示例
常见问题
DLI产品咨询类
DLI Flink与MRS Flink有什么区别？
DLI中的Spark组件与MRS中的Spark组件有什么区别？
怎样升级DLI作业的引擎版本
DLI的数据可存储在哪些地方
DLI是否支持导入其他租户共享OBS桶的数据？
区域和可用区
全局变量的使用中，一个子账号是否可以使用其他子账号创建的全局变量
怎样获取DLI作业样例（Demo）
DLI是否存在Apache Spark 命令注入漏洞（CVE-2022-33891）？
怎样管理在DLI上运行的作业
怎样修改DLI上已经创建好的表的字段名称？
DLI弹性资源池和队列类
怎样查看弹性资源池和作业的资源使用情况？
怎样判断当前DLI队列中的作业是否有积压？
怎样查看DLI队列负载？
怎样监控DLI队列上的作业异常？
怎样将老版本的Spark队列切换成通用型队列
在default队列执行DLI SQL失败，提示超时异常怎么办？
DLI数据库和表类
为什么在DLI控制台中查询不到表？
OBS表压缩率较高怎么办？
字符码不一致导致数据乱码怎么办？
删除表后再重新创建同名的表，需要对操作该表的用户和项目重新赋权吗？
DLI分区内表导入的文件不包含分区列的数据，导致数据导入完成后查询表数据失败怎么办？
创建OBS外表，由于OBS文件中的某字段存在换行符导致表字段数据错误怎么办？
join表时没有添加on条件，造成笛卡尔积查询，导致队列资源爆满，作业运行失败怎么办？
手动在OBS表的分区目录下添加了数据，但是无法查询到数据怎么办？
为什么insert overwrite覆盖分区表数据的时候，覆盖了全量数据？
跨源连接RDS表中create_date字段类型是datetime，为什么DLI中查出来的是时间戳呢？
SQL作业执行完成后，修改表名导致datasize不正确怎么办？
从DLI导入数据到OBS，数据量不一致怎么办？
为什么创建Hudi表没有在DLI控制台上显示？
增强型跨源连接类
增强型跨源连接绑定队列失败怎么办？
DLI增强型跨源连接DWS失败怎么办？
创建跨源成功但测试网络连通性失败怎么办？
怎样配置DLI队列与数据源的网络连通？
为什么DLI增强型跨源连接要创建对等连接？
DLI创建跨源连接，绑定队列一直在创建中怎么办？
新建跨源连接，显示已激活，但使用时提示communication link failure错误怎么办？
跨源访问MRS HBase，连接超时，日志未打印错误怎么办？
DLI跨源连接报错找不到子网怎么办？
跨源RDS表，执行insert overwrite提示Incorrect string value错误怎么办？
创建RDS跨源表提示空指针错误怎么办？
对跨源DWS表执行insert overwrite操作，报错：org.postgresql.util.PSQLException: ERROR: tuple concurrently updated
通过跨源表向CloudTable Hbase表导入数据，executor报错：RegionTooBusyException
通过DLI跨源写DWS表，非空字段出现空值异常怎么办？
更新跨源目的端源表后，未同时更新对应跨源表，导致insert作业失败怎么办？
RDS表有自增主键时怎样在DLI插入数据？
SQL作业类
SQL作业开发类
SQL作业使用咨询
如何合并小文件
DLI如何访问OBS桶中的数据
创建OBS表时怎样指定OBS路径
关联OBS桶中嵌套的JSON格式数据如何创建表
count函数如何进行聚合
怎样将一个区域中的DLI表数据同步到另一个区域中？
SQL作业如何指定表的部分字段进行表数据的插入
SQL作业运行慢如何定位
怎样查看DLI SQL日志？
怎样查看DLI的执行SQL记录？
执行SQL作业时产生数据倾斜怎么办？
SQL作业中存在join操作，因为自动广播导致内存不足，作业一直运行中
为什么SQL作业一直处于“提交中”？
SQL作业运维类
用户导表到OBS报“path obs://xxx already exists”错误
对两个表进行join操作时，提示：SQL_ANALYSIS_ERROR: Reference 't.id' is ambiguous, could be: t.id, t.id.;
执行查询语句报错：The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget.
执行查询语句报错：There should be at least one partition pruning predicate on partitioned table XX.YYY
LOAD数据到OBS外表报错：IllegalArgumentException: Buffer size too small. size
SQL作业运行报错：DLI.0002 FileNotFoundException
用户通过CTAS创建hive表报schema解析异常错误
在DataArts Studio上运行DLI SQL脚本，执行结果报org.apache.hadoop.fs.obs.OBSIOException错误
使用CDM迁移数据到DLI，迁移作业日志上报UQUERY_CONNECTOR_0001:Invoke DLI service api failed错误
SQL作业访问报错：File not Found
SQL作业访问报错：DLI.0003: AccessControlException XXX
SQL作业访问外表报错：DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{桶名}}: status [403]
执行SQL语句报错：The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget.
预览SQL作业结果报错：预览结果内容超过预览阈值
Flink作业类
Flink作业咨询类
如何给子用户授权查看Flink作业？
Flink作业怎样设置“异常自动重启”？
Flink作业如何保存作业日志？
Flink作业管理界面对用户进行授权时提示用户不存在怎么办？
手动停止了Flink作业，再次启动时怎样从指定Checkpoint恢复？
DLI使用SMN主题，提示SMN主题不存在，怎么处理？
Flink SQL作业类
怎样将OBS表映射为DLI的分区表？
Flink SQL作业Kafka分区数增加或减少，怎样不停止Flink作业实现动态感知？
在Flink SQL作业中创建表使用EL表达式，作业运行提示DLI.0005错误怎么办？
Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据
Flink SQL作业运行失败，日志中有connect to DIS failed java.lang.IllegalArgumentException: Access key cannot be null错误
Flink SQL作业消费Kafka后sink到es集群，作业执行成功，但未写入数据
Flink Opensource SQL如何解析复杂嵌套 JSON？
Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致？
Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败
Kafka Sink配置发送失败重试机制
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中？
作业语义检验时提示DIS通道不存在怎么处理？
Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办？
Flink Jar作业类
Flink Jar作业是否支持上传配置文件，要如何操作？
Flink Jar 包冲突，导致作业提交失败
Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误
Flink Jar作业运行报错，报错信息为Authentication failed
Flink Jar作业设置backend为OBS，报错不支持OBS文件系统
Hadoop jar包冲突，导致Flink提交失败
Flink作业提交错误，如何定位
Flink作业性能调优类
Flink作业推荐配置指导
Flink作业性能调优
Flink作业重启后，如何保证不丢失数据？
Flink作业运行异常，如何定位
Flink作业重启后，如何判断是否可以从checkpoint恢复
DLI Flink作业提交运行后（已选择保存作业日志到OBS桶），提交运行失败的情形（例如：jar包冲突），有时日志不会写到OBS桶中
Jobmanager与Taskmanager心跳超时，导致Flink作业异常怎么办？
Spark作业类
Spark作业开发类
Spark作业使用咨询
Spark如何将数据写入到DLI表中
通用队列操作OBS表如何设置AK/SK
如何查看DLI Spark作业的实际资源使用情况
将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？
如何在DLI中运行复杂PySpark程序？
如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度
Spark jar 如何读取上传文件
为什么Spark 3.3.1客户端视图属性查询为空字符串
添加Python包后，找不到指定的Python环境
为什么Spark jar 作业 一直处于“提交中”？
Spark Jar任务使用LakeFormation元数据时报错
Spark作业运维类
运行Spark作业报java.lang.AbstractMethodError
Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误
有访问OBS对应的桶的权限，但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403]
Spark作业运行大批量数据时上报作业运行超时异常错误
使用Spark作业访问sftp中的文件，作业运行失败，日志显示访问目录异常
执行作业的用户数据库和表权限不足导致作业运行失败
为什么Spark3.x的作业日志中打印找不到global_temp数据库
在使用Spark2.3.x访问元数据时，DataSource语法创建avro类型的OBS表创建失败
使用Spark3.3.1的SQL查询语句使用rand函数报错，提示“Input argument to rand must be a constant”
使用Spark 3.3.1客户端创建view同时join查询数据写入报错，提示 Not allowed to create a permanent view
DLI资源配额类
什么是用户配额？
怎样查看我的配额
如何申请扩大配额
DLI权限管理类
队列引擎版本升级后，在创建表时，提示权限不足怎么办？
什么是DLI分区表的列赋权？
更新程序包时提示权限不足怎么办？
执行SQL查询语句报错：DLI.0003: Permission denied for resource....
已经给表授权，但是提示无法查询怎么办？
表继承数据库权限后，对表重复赋予已继承的权限会报错吗？
为什么已有View视图的select权限，但是查询不了View？
提交作业时提示作业桶权限不足怎么办？
提示OBS Bucket没有授权怎么办？
DLI API类
如何获取AK/SK？
如何获取项目ID？
提交SQL作业时，返回“unsupported media Type”信息
创建SQL作业的API执行超过时间限制，运行超时报错
API接口返回的中文字符为乱码，如何解决？
视频帮助
文档下载
通用参考
产品术语
云服务等级协议（SLA）
白皮书资源
支持区域
系统权限