智能数据湖 AI DataLake
智能数据湖 AI DataLake
本产品内“
”的所有结果
本产品内“
”的所有结果
最新动态
版本规划
AI DataLake 26.9.0 版本说明
AI DataLake 26.7.0 版本说明
AI DataLake 26.6.0 版本说明
产品介绍
什么是AI DataLake
产品优势
应用场景
智驾多模态数据处理
互联网应用音频加工流水线
互联网AI数据管线
金融交易数据实时分析与风控
多模态向量检索
产品功能
计算引擎
多模数据引擎Aura
AI计算引擎Ray
批处理引擎Spark
流处理引擎Flink
产品规格
安全
身份认证与访问控制
数据保护技术
审计与日志
服务韧性
监控安全风险
故障恢复
更新管理
认证证书
权限管理
约束与限制
与其他服务的关系
基本概念
计费说明
计费概述
弹性资源计费
预留资源池计费
存储资源计费
计费样例1：多作业资源利用率优化示例
计费样例2：单作业资源调度计费示例
变更计费模式
按需转包年/包月
包年/包月转按需
续费
续费概述
自动续费
手动续费
欠费说明
停止计费
快速入门
首次使用AI DataLake
基于用户自定义镜像的数据处理
基于Aura DataFrame的多模数据处理
基于RayCluster的数据处理
基于RayJob的数据处理
基于PySpark的数据处理
基于Flink SQL的数据处理
基于Flink JAR的数据处理
用户指南
准备工作
开通AI DataLake服务并授权
通过IAM授予使用AI DataLake的权限
通过IAM角色或策略授予使用AI DataLake的权限
通过IAM身份策略授予使用AI DataLake的权限
创建AI DataLake工作空间
工作空间概述
创建工作空间
管理工作空间
创建AI DataLake计算资源池
计算资源池概述
购买预留资源池
配置计算资源池网络
为什么要配置计算资源池网络
创建网络
调整计算资源池容量
管理计算资源池
创建AI DataLake存储资源
购买存储资源
管理存储资源
调整存储资源容量
创建AI DataLake Aura引擎端点
Aura引擎端点概述
创建Aura引擎端点
连接Aura端点并提交作业
连接Aura端点并提交作业概述
使用DataArts Studio Notebook连接AuraJobV2端点并提交作业
使用API连接AuraJobV2端点并提交作业
使用DataArts Studio连接AuraJob端点并提交作业
管理Aura引擎端点
会话管理
设置Aura作业优先级
查看Aura资源监控
查看Aura作业监控
创建AI DataLake Ray引擎端点
Ray引擎端点概述
创建Ray引擎端点
连接Ray端点并提交作业
连接Ray端点并提交作业概述
使用API连接RayCluster并提交作业
使用API连接RayJob端点并提交作业
使用API连接Ray联邦端点并提交作业
管理Ray引擎端点
查看Ray端点的资源及作业监控信息
查看Ray Dashboard
使用History Server查看历史作业
查看Flow Insight视图
配置装箱调度策略
创建AI DataLake Spark引擎端点
Spark端点类型概述
创建Spark引擎端点
连接Spark端点并提交作业
概述
通过API方式连接Spark端点并提交作业
管理Spark端点的详细信息
查看Spark端点的资源及作业监控信息
查看Web UI
查看作业性能指标
Spark Native算子优化
SparkJob使用DEW获取访问凭证用于读写OBS
获取Spark作业委托临时凭证用于访问其他云服务
创建AI DataLake Flink引擎端点
Flink端点类型概述
创建Flink引擎端点
连接Flink端点并提交作业
通过API方式连接Flink端点并提交作业
管理Flink端点的详细信息
查看Flink端点的资源及作业监控信息
Flink SQL使用DEW管理访问凭据
Flink Jar使用DEW获取访问凭证读写OBS
获取Flink作业委托临时凭证用于访问其他云服务
Flink作业自动调优
查看作业运行历史
管理数据与元数据
了解数据目录、数据库和表
创建LakeFormation元数据
查看LakeFormation元数据
配置运维人员访问授权
资源监控和作业监控
资源监控和作业监控概述
AI DataLake服务监控
监控计算资源池
监控存储资源
监控端点资源和作业
AOM Prometheus监控
配置AI DataLake对接AOM Prometheus监控
计算资源池监控指标
Aura端点资源和作业指标
Ray端点资源、作业和Ray原生指标
Spark端点资源和作业指标
Flink端点资源和作业指标
使用AI DataLake镜像
镜像概述
预置镜像
自定义镜像
镜像加速
使用LTS管理AI DataLake作业日志
使用CTS审计AI DataLake服务
管理AI DataLake标签
AI DataLake权限与委托
权限与委托概述
IAM权限管理
IAM授权类型和使用场景
IAM授权的主体
委托
委托概述
创建自定义委托
常见场景的委托权限策略
对接LakeFormation权限管理
对接LakeFormation权限管理概述
AuraJobV2场景的LakeFormation授权
SparkSQL场景的LakeFormation授权
SparkJob场景的LakeFormation授权
FlinkJob场景的LakeFormation授权
最佳实践
AI DataLake Spark 数据倾斜调优
如何判断发生数据倾斜
数据倾斜排查及解决方法
概述
Join
Group By
Count(Distinct)
ROW_NUMBER（TopN）
动态分区
分区过少
API参考
使用前必读
API概览
如何调用API
构造请求
认证鉴权
返回结果
应用示例
创建工作空间应用示例
创建计算资源应用示例
创建端点应用示例
AuraSQL作业接口应用示例
Ray作业接口应用示例
SparkJob作业接口应用示例
FlinkJob作业接口应用示例
Aura相关API
AuraSQL作业管理
创建Session - CreateAuraV2SqlSession
查看Session列表 - ListAuraV2SqlSessions
查看Session详情 - ShowAuraV2SqlSession
关闭Session - CloseAuraV2SqlSession
在指定Session中执行SQL - ExecuteAuraV2SqlStatement
查看SQL执行结果 - ShowAuraV2SqlStatementResult
取消SQL执行 - CancelAuraV2SqlStatement
查看SQL执行记录 - ListAuraV2StatementRecords
查看语句监控详情 - ShowAuraV2StatementQueryMetrics
查看指定Session下的SQL执行记录 - ListAuraV2SessionStatementRecords
查看SQL执行算子监控记录 - ShowAuraV2StatementOperatorMetrics
Ray相关API
RayJob管理
运行作业 - RunRayJob
查询Ray作业列表 - ListRayJobs
查看Ray作业详情 - ShowRayJob
取消作业运行 - CancelRayJob
创建交互式会话 - createRaySession
关闭交互式会话 - CloseSession
Spark相关API
Spark作业管理
查询Spark作业的状态 - ShowSparkJobState
启动Spark作业 - RunSparkJob
查询Spark作业列表 - ListSparkJobs
查看Spark作业详情 - ShowSparkJob
取消Spark作业执行 - CancelSparkJob
SparkSql作业管理
查询SparkSql作业的状态 - ShowSparkSqlState
查询SparkSql作业列表 - ListSparkSqls
查看SparkSql作业详情 - ShowSparkSql
取消SparkSql作业执行 - CancelSparkSql
执行SparkSql作业 - RunSparkSql
预览SparkSql作业查询结果 - PreviewSparkSqlResult
重启SparkSql集群 - RestartSparkSqlCluster
SparkOperators操作管理
查询Spark异步操作状态 - ShowSparkOperatorState
Flink相关API
Flink作业管理
创建Flink作业 - RunFlinkJob
取消Flink作业执行 - CancelFlinkJob
查看Flink作业详情 - ShowFlinkJob
查询Flink作业状态 - ShowFlinkJobState
查询Flink作业列表 - ListFlinkJobs
查询Flink作业事件详情列表 - ListFlinkJobEvents
Flink Savepoint管理
创建Flink作业Savepoint - CreateFlinkSavepoint
查询Flink作业Savepoint列表 - ListFlinkSavepoint
查询Flink作业Savepoint详情 - ShowFlinkSavepoint
删除Flink作业Savepoint - DeleteFlinkSavepoint
Flink作业自动调优管理
热更新Flink作业自动调优配置 - UpdateFlinkJobAutoscalingPolicy
查询Flink作业自动调优配置 - ShowFlinkJobAutoscalingPolicy
查询Flink作业自动调优历史 - ListFlinkJobAutoscalingHistories
用户协议管理
查询系统协议 - ListV2AgreementRule
签署租户协议 - SignV2Agreement
查询用户是否签署协议 - ShowV2Agreement
删除用户签署协议 - DeleteV2Agreement
委托管理
创建服务委托 - CreateV2Agency
删除服务委托 - DeleteV2Agency
查询服务委托 - ShowV2Agency
附加策略 - AttachV2AgencyPolicy
移除策略 - DetachV2AgencyPolicy
工作空间管理
查询工作空间列表 - ListV2Workspaces
查询工作空间详细信息 - ShowV2Workspace
更新工作空间 - UpdateV2Workspace
创建工作空间 - CreateV2Workspace
删除工作空间 - DeleteV2Workspace
计算资源管理
查询计算资源列表 - ListV2Computes
查看计算资源详情 - ShowV2Compute
创建计算资源 - CreateV2Compute
更新计算资源 - UpdateV2Compute
查询资源池监控 - ShowV2ComputesMetrics
删除计算资源 - DeleteV2Compute
查询计算资源操作记录列表 - ListV2ComputeVersions
端点管理
查询所有端点列表 - ListV2AllEndpoints
查询端点列表 - ListV2Endpoints
查询端点配置限制 - ShowV2EndpointResourceLimit
创建端点 - CreateV2Endpoint
查询端点详情 - ShowV2Endpoint
查询端点监控 - ShowV2EndpointsMetrics
更新端点 - UpdateV2Endpoint
删除端点 - DeleteV2Endpoint
Ray联邦端点管理
查询Ray联邦端点列表 - ListV2RayFederations
创建Ray联邦端点 - CreateV2RayFederation
查询Ray联邦端点详情 - ShowV2RayFederation
更新Ray联邦端点 - UpdateV2RayFederation
删除Ray联邦端点 - DeleteV2RayFederation
租户镜像管理
注册自定义镜像 - RegisterV2TenantImage
查询自定义镜像列表 - ListV2TenantImages
添加自定义镜像版本 - AddV2TenantImageVersion
查询自定义镜像版本 - ShowV2TenantImageVersion
删除指定镜像版本 - DeleteV2TenantImageVersion
删除镜像下所有版本 - DeleteV2TenantImage
查询镜像详情 - ShowV2TenantImage
查询自定义镜像版本列表 - ListV2TenantImageVersions
更新自定义镜像版本 - UpdateV2TenantImageVersion
镜像快照管理
查询镜像快照列表 - ListV2TenantImageSnapshots
创建镜像快照 - CreateV2TenantImageSnapshot
删除镜像快照 - DeleteV2TenantImageSnapshot
TMS管理
查询项目标签 - ListV2ProjectTags
查询资源实例列表 - ListV2TagResources
查询资源实例数量 - CountV2TagResources
查询资源标签 - ListV2ResourceTags
批量添加资源标签 - BatchCreateV2ResourceTags
批量删除资源标签 - BatchDeleteV2ResourceTags
权限和授权项
权限及授权项说明
策略授权参考
身份策略授权参考
附录
状态码
错误码
获取项目ID
获取工作空间ID
获取账号ID
获取企业项目ID
Spark作业中SQL语句占位符使用指南
开发指南
Iceberg开发指南
Iceberg简介
Iceberg功能介绍
Iceberg表属性参数介绍
Iceberg Catalog介绍
Iceberg表Schema演进介绍
Iceberg表支持的数据类型介绍
Iceberg隐式分区和分区演进介绍
Iceberg Liquid Clustering
Iceberg on Aura
使用Iceberg前准备
Iceberg配置与类型
Iceberg on Aura DDL语法说明
查询和写入Iceberg表
表达式分区
Iceberg表服务
Iceberg on Spark
Spark对接Iceberg Catalog
Iceberg配置与类型
Iceberg on Spark DDL语法说明
查询Iceberg表数据
向Iceberg表中写入数据
Iceberg表存储过程管理
使用spark流式读写Iceberg
Liquid Clustering使用方式
Iceberg on Flink
使用Iceberg前准备
管理Iceberg Catalog
Iceberg配置与类型
Iceberg on Flink DDL语法说明
查询与写入Iceberg
Iceberg开发常见问题
如何处理并发提交数据冲突
如何处理乐观锁并发提交元数据冲突
使用LakeFormation进行表维护
使用引擎进行表维护
Lance开发指南
Lance简介
Lance功能介绍
Lance表目录介绍
Lance索引介绍
Lance表Schema演进介绍
Lance表支持的数据类型介绍
Lance Namespace和LakeFormation Catalog介绍
Lance on Aura
使用Lance前准备
Lance配置与类型
Lance on Aura DDL语法说明
查询和写入Lance表
更新Lance表
Lance表使用索引
Lance Late Read调优说明
Lance开发常见问题
如何处理Lance表并发冲突
Paimon开发指南
Paimon简介
Paimon功能介绍
Paimon表属性参数介绍
Paimon Catalog介绍
Paimon表Schema演进介绍
Paimon表支持的数据类型介绍
Paimon表分区介绍
Paimon on Spark
Spark对接Paimon Catalog
Paimon数据类型
DDL语法说明
向Paimon表中写入数据
查询Paimon表数据
系统表
Paimon表存储过程管理
Paimon on Flink
使用Paimon前准备
管理Paimon Catalog
Paimon配置与类型
Paimon on Flink DDL语法说明
查询和写入Paimon表数据
Paimon开发常见问题
如何处理并发提交数据冲突
如何处理小文件问题
如何处理Schema演进后的数据兼容性
如何进行表维护
Spark UDF开发指南
在Spark SQL作业中使用UDF
在Spark SQL作业中使用UDAF
在Spark SQL作业中使用UDTF
在Spark SQL作业中使用Remote UDF
概述
新建Maven工程，配置Project structure
编写UDF函数代码并导出Jar包
创建FunctionGraph函数
使用Remote UDF
SQL创建函数
SQL调用函数
SQL删除函数
显示所有函数
显示函数详情
在Spark SQL作业中使用Remote UDAF
概述
新建Maven工程，配置Project structure
编写UDAF函数代码并导出Jar包
创建FunctionGraph函数
使用Remote UDAF
SQL创建函数
SQL调用函数
SQL删除函数
显示所有函数
显示函数详情
在Spark SQL作业中使用Remote UDTF
概述
新建Maven工程，配置Project structure
编写UDTF函数代码并导出Jar包
创建FunctionGraph函数
使用Remote UDTF
SQL创建函数
SQL调用函数
SQL删除函数
显示所有函数
显示函数详情
Aura语法参考
使用前必读
使用Aura SQL开发的流程
DDL语法
设计数据库对象
创建和管理Schema
创建和管理表
表分区定义
SHOW
SHOW Conf
SHOW Schemas/Tables/Views/Partitions/Functions/Models
CREATE SCHEMA
DROP SCHEMA
CREATE TABLE
CREATE VIEW
CREATE FUNCTION
CREATE MODEL
DROP TABLE
DROP VIEW
DROP FUNCTION
DROP MODEL
ALTER TABLE
DESCRIBE
MSCK REPAIR TABLE
TRUNCATE
CREATE INDEX
DROP INDEX
SHOW INDEX
ALTER INDEX
CREATE ROLE
DROP ROLE
ALTER ROLE
ALTER USER
ALTER USER GROUP
DML语法
DML语法一览表
EXPLAIN
INSERT
VALUES
DELETE
MERGE INTO
OPTIMIZE
UPDATE
DQL语法
SELECT
基本语法
表查询示例
单表查询
多表连接查询
WITH表达式
DCL语法
ANALYZE | ANALYSE
GRANT
REVOKE
关键字
数据类型
与LakeFormation的数据类型映射关系
数值类型
布尔类型
字符类型
二进制类型
日期/时间类型
对象标识符类型
隐式转换支持范围
复杂类型
类型转换
概述
操作符
函数
值存储
UNION，CASE和相关构造
表达式
简单表达式
条件表达式
子查询表达式
数组表达式
行表达式
函数和操作符
字符处理函数和操作符
二进制字符串函数和操作符
位串函数和操作符
数字操作函数和操作符
数字操作符
数字操作函数
时间、日期处理函数和操作符
时间/日期操作符
时间/日期函数
EXTRACT
date_part
date_format
time_format
数组函数和操作符
数组操作符
数组函数
逻辑操作符
比较操作符
模式匹配操作符
聚集函数
窗口函数
类型转换函数
JSON/JSONB函数和操作符
JSON/JSONB操作符
JSON/JSONB函数
条件表达式函数
返回集合的函数
序列号生成函数
系统信息函数
会话信息函数
系统表信息函数
系统函数信息函数
状态信息函数
系统管理函数
内存管理函数
数据库对象函数
数据库对象尺寸函数
统计信息函数
Iceberg表服务函数
大模型推理函数
用户及权限管理
Aura服务权限介绍
用户管理
权限管理
权限介绍
角色管理
对象授权/取消授权管理
性能调优
性能调优概述
系统调优
数据库系统参数调优
SMP并行执行
SQL调优
SQL查询执行流程
SQL执行计划
执行计划算子
SQL执行监控
SQL调优流程
更新统计信息
SQL调优进阶
子查询调优
算子级调优
SQL语句改写规则
优化器参数调整
使用Plan Hint进行调优
Plan Hint调优概述
Join顺序的Hint
Join方式的Hint
行数的Hint
Stream方式的Hint
子链接块名的Hint
指定子查询不提升的Hint
配置参数的Hint
UDF Fusion的Hint
Hint的错误、冲突及告警
执行计划算子监控
SQL调优案例
案例：调整GUC参数best_agg_plan
GUC参数
查看和设置GUC参数
连接和认证
安全和认证
查询规划
优化器方法配置
其他优化器选项
客户端连接缺省设置
语句行为
区域和格式化
锁管理
Python UDF
向量检索
断点续作
Spark语法参考
使用前必读
数据库相关
创建数据库
删除数据库
查看指定数据库
查看所有数据库
修改数据库属性
表相关
表类型说明
创建表
使用DataSource语法创建Managed Table
使用Hive语法创建Managed Table
使用DataSource语法创建External Table
使用Hive语法创建External Table
删除表
查看表
查看所有表
查看建表语句
查看表属性
查看指定表所有列
查看指定表所有分区
查看表统计信息
修改表
添加列
修改列注释
表别名
分区相关
添加分区
重命名分区
删除分区
修改表分区位置
更新表分区信息
数据操作语法
导入数据
插入数据
复用子查询
清空数据
导出查询结果
视图
创建视图
删除视图
修改视图
查看视图
物化视图
使用场景
配置参数
普通物化视图
语法参考
权限管理
自动改写
元数据
约束与限制
智能物化视图
语法参考
权限管理
视图刷新
刷新策略
刷新时效
视图元数据
CTE物化
约束与限制
查看计划
数据权限语法
数据权限列表
创建角色
显示角色
删除角色
绑定角色
解绑角色
分配权限
回收权限
显示已授权限
显示所有角色和用户的绑定关系
数据类型
概述
原生数据类型
复杂数据类型
Iceberg表相关语法
函数语法
SQL自定义函数
创建函数
删除函数
显示函数详情
显示所有函数
DESCRIBE FUNCTION
查询语法
Select
排序
ORDER BY
SORT BY
CLUSTER BY
DISTRIBUTE BY
分组
按列GROUP BY
按表达式GROUP BY
GROUP BY中使用HAVING
ROLLUP
GROUPING SETS
连接
内连接
左外连接
右外连接
全外连接
隐式连接
笛卡尔连接
左半连接
不等值连接
子句
FROM
OVER
WHERE
HAVING
多层嵌套子查询
别名SELECT
列别名
集合运算select
UNION
INTERSECT
EXCEPT
CASE...WHEN
Pipe语法（|>）
导出查询结果
内置函数
日期函数
add_months
current_date
current_timestamp
date_add
dateadd1
date_sub
date_format
datediff
datediff1
datepart1
datetrunc
day/dayofmonth
from_unixtime
from_utc_timestamp
getdate
hour
isdate
last_day
last_day1
minute
month
months_between
next_day
quarter
second
to_char1
to_date
to_date1
to_utc_timestamp
trunc
trunc_numeric
unix_timestamp
weekday
weekofyear
year
字符串函数
ascii
concat
concat_ws
char_matchcount
encode
find_in_set
get_json_object
initcap
instr
instr1
keyvalue
length
lengthb
levenshtein
locate
lower/lcase
lpad
ltrim
parse_url
regexp_count1
regexp_extract
regexp_instr1
regexp_replace
regexp_replace1
regexp_substr1
repeat
replace
reverse
rpad
rtrim
space
split_part1
substr/substring
substring_index
translate
trim
upper/ucase
url_decode1
url_encode1
printf
数学函数
abs
acos
asin
atan
bin
bround
cbrt
ceil
conv
cos
cot1
degrees
e
exp
factorial
floor
greatest
hex
least
ln
log
log10
log2
negative
pi
pmod
positive
pow
radians
rand
round
shiftleft
shiftright
shiftrightunsigned
sign
sin
soundex
sqrt
tan
聚合函数
avg
corr
count
covar_pop
covar_samp
max
min
percentile
percentile_approx
stddev_pop
stddev_samp
sum
variance/var_pop
var_samp
median
分析窗口函数
cume_dist
first_value
last_value
lag
lead
percent_rank
rank
row_number
其他函数
decode1
ordinal
trans_array
标识符
aggregate_func
alias
attr_expr
attr_expr_list
attrs_value_set_expr
boolean_expression
class_name
col
col_comment
col_name
col_name_list
condition
condition_list
cte_name
data_type
db_comment
db_name
else_result_expression
file_format
file_path
function_name
groupby_expression
having_condition
hdfs_path
input_expression
input_format_classname
jar_path
join_condition
non_equi_join_condition
number
num_buckets
output_format_classname
partition_col_name
partition_col_value
partition_specs
property_name
property_value
regex_expression
result_expression
row_format
select_statement
separator
serde_name
sql_containing_cte_name
sub_query
table_comment
table_name
table_properties
table_reference
view_name
view_properties
when_expression
where_condition
window_function
运算符
关系运算符
算术运算符
逻辑运算符
数据集
概述
数据集语法
创建数据集
修改数据集
更新数据集格式
设置或更新数据集注释
软删除数据集
列出所有数据集
显示数据集详细信息
读取数据集中指定格式的文件
数据集权限
概述
授予用户访问权限
撤销用户访问权限
显示所有权限
SDK参考
AI DataLake SDK简介
引擎专属SDK
Python SDK参考
Python SDK概述
Python环境配置
获取AKSK
Catalog SDK
Catalog SDK概述
Catalog SDK获取与安装
初始化客户端
使用AuraJobV2运行示例
创建UDF
创建UDTF
创建UDAF
查询函数详情
查询函数列表
删除函数
注册Data-Juicer算子
公共参数说明
signature说明
runtime_env说明
异常类说明
Aura DataFrame SDK（Python）
Aura DataFrame SDK概述
Aura DataFrame SDK获取与安装
Aura DataFrame SDK新手入门
使用Aura DataFrame SDK提交作业
建立与AuraJobV2端点的连接
配置UDF部署工作区
创建表并写入数据
建立连接并查询指定表数据
数据加工与分析
使用Scalar UDF处理数据
使用Class UDF处理数据
使用聚合统计的UDAF
直接使用已注册的Scalar UDF
直接使用已注册的UDAF
语音识别示例
视频帧描述与摘要生成示例
Aura DataFrame SDK总览
Session APIs
Dataset APIs
Table APIs
I/O APIs
User-Defined Function APIs
AI APIs
用户自定义函数UDF
UDF概述
开发注意事项
数据类型映射
环境变量设置
Scalar UDF
Class UDF
Vectorized UDF
UDTF
UDAF
WITH ARGUMENTS语法
自适应并行
UDF错误处理与重试
UDF Actor放置策略
Python UDF性能调优
数据类型
图片
视频
音频
向量
常见问题
服务咨询类
工作空间类
计算资源池类
端点类
计算引擎类
在DataArts Studio上执行Aura作业时报错，如何解决？
Spark中Parquet的brotli压缩格式无法使用怎么办？
作业开发类
视频帮助
文档下载
通用参考
产品术语
llms使用指导
责任共担
云服务等级协议（SLA）
白皮书资源
支持区域
系统权限