智能数据湖 AIDataLake
智能数据湖 AIDataLake
本产品内“
”的所有结果
本产品内“
”的所有结果
最新动态
版本规划
AI DataLake版本说明
产品介绍
什么是AI DataLake
产品优势
应用场景
智驾多模态数据处理
互联网应用音频加工流水线
互联网AI数据管线
金融交易数据实时分析与风控
产品功能
计算引擎
多模数据引擎Aura
AI计算引擎Ray
批处理引擎Spark
流处理引擎Flink
产品规格
安全
身份认证与访问控制
数据保护技术
审计与日志
服务韧性
监控安全风险
故障恢复
更新管理
认证证书
权限管理
约束与限制
配额管理
与其他服务的关系
计费说明
计费概述
弹性资源计费
预留资源池计费
存储资源计费
计费样例
变更计费模式
按需转包年/包月
包年/包月转按需
续费
续费概述
自动续费
手动续费
欠费说明
停止计费
快速入门
首次使用AI DataLake
基于用户自定义镜像的多模数据处理
基于Aura DataFrame的多模数据处理
基于RayCluster Data的数据处理
基于RayJob Data的数据处理
基于PySpark的数据处理
用户指南
准备工作
注册华为账号并开通华为云
开通AI DataLake服务并授权
通过IAM授予使用AI DataLake的权限
通过IAM角色或策略授予使用AI DataLake的权限
通过IAM身份策略授予使用AI DataLake的权限
创建AI DataLake工作空间
工作空间概述
创建工作空间
管理工作空间
创建AI DataLake计算资源池
计算资源池概述
购买预留资源池
配置计算资源池网络
为什么要配置计算资源池网络
创建网络
调整计算资源池容量
管理计算资源池
创建AI DataLake存储资源
购买存储资源
管理存储资源
调整存储资源容量
创建AI DataLake Aura引擎端点
Aura引擎端点概述
创建Aura引擎端点
管理Aura引擎端点
会话管理
查看Aura端点监控
查看Aura作业监控
创建AI DataLake Ray引擎端点
Ray引擎端点概述
创建Ray引擎端点
管理Ray引擎端点
查看Ray端点作业监控信息
创建AI DataLake Spark引擎端点
Spark端点类型概述
创建Spark引擎端点
管理Spark端点的详细信息
查看Spark端点的资源及作业监控信息
查看Spark UI
查看作业性能指标
Spark Native算子优化
使用DataArts Studio开发AI DataLake作业
管理数据与元数据
了解数据目录、数据库和表
创建数据目录、数据库和表
通过AI DataLake查看元数据
Spark对接LakeFormation数据权限管理
SparkSQL-SQL鉴权
SparkJob-SQL鉴权
查看作业运行历史
管理AI DataLake镜像
配置AI DataLake访问其他云服务的委托权限
委托概述
创建自定义委托
常见场景的委托权限策略
监控AI DataLake资源
监控AI DataLake计算资源池
监控AI DataLake存储资源
使用LTS管理AI DataLake作业日志
使用CTS审计AI DataLake服务
API参考
使用前必读
API概览
如何调用API
构造请求
认证鉴权
返回结果
应用示例
创建工作空间应用示例
创建计算资源应用示例
创建端点应用示例
AuraJobV2作业接口应用示例
Ray作业接口应用示例
SparkJob作业接口应用示例
Aura API
AuraJobV2作业管理
创建Session - CreateAuraV2SqlSession
查看Session列表 - ListAuraV2SqlSessions
查看Session详情 - ShowAuraV2SqlSession
关闭Session - CloseAuraV2SqlSession
在指定Session中执行SQL - ExecuteAuraV2SqlStatement
查看SQL执行结果 - ShowAuraV2SqlStatementResult
取消SQL执行 - CancelAuraV2SqlStatement
查看SQL执行记录 - ListAuraV2StatementRecords
查看语句监控详情 - ShowAuraV2StatementQueryMetrics
查看指定Session下的SQL执行记录 - ListAuraV2SessionStatementRecords
查看SQL执行算子监控记录 - ShowAuraV2StatementOperatorMetrics
Ray API
RayJob管理
运行作业 - RunRayJob
查询Ray作业列表 - ListRayJobs
查询作业详情 - ShowRayJob
取消作业运行 - CancelRayJob
Spark API
Spark作业管理
查询Spark作业的状态 - ShowSparkJobState
启动Spark作业 - RunSparkJob
查询Spark作业列表 - ListSparkJobs
查看Spark作业详情 - ShowSparkJob
查看Spark作业提交日志 - ShowSparkJobSubmitLog
取消Spark作业执行 - CancelSparkJob
SparkSql作业管理
查询SparkSql作业的状态 - ShowSparkSqlState
查询SparkSql作业列表 - ListSparkSqls
查看SparkSql作业详情 - ShowSparkSql
取消SparkSql作业执行 - CancelSparkSql
执行SparkSql作业 - RunSparkSql
预览SparkSql作业查询结果 - PreviewSparkSqlResult
重启SparkSql集群 - RestartSparkSqlCluster
SparkOperators操作管理
查询Spark异步操作状态 - ShowSparkOperatorState
用户协议管理
查询系统协议 - ListV2AgreementRule
签署租户协议 - SignV2Agreement
查询用户是否签署协议 - ShowV2Agreement
删除用户签署协议 - DeleteV2Agreement
委托管理
创建服务委托 - CreateV2Agency
删除服务委托 - DeleteV2Agency
查询服务委托 - ShowV2Agency
附加策略 - AttachV2AgencyPolicy
移除策略 - DetachV2AgencyPolicy
工作空间管理
查询工作空间列表 - ListV2Workspaces
查询工作空间详细信息 - ShowV2Workspace
更新工作空间 - UpdateV2Workspace
创建工作空间 - CreateV2Workspace
删除工作空间 - DeleteV2Workspace
计算资源管理
查询计算资源列表 - ListV2Computes
查看计算资源详情 - ShowV2Compute
创建计算资源 - CreateV2Compute
更新计算资源 - UpdateV2Compute
查询资源池监控 - ShowV2ComputesMetrics
删除计算资源 - DeleteV2Compute
查询计算资源操作记录列表 - ListV2ComputeVersions
端点管理
查询所有端点列表 - ListV2AllEndpoints
查询端点列表 - ListV2Endpoints
查询端点配置限制 - ShowV2EndpointResourceLimit
创建端点 - CreateV2Endpoint
查询端点详情 - ShowV2Endpoint
查询端点监控 - ShowV2EndpointsMetrics
更新端点 - UpdateV2Endpoint
删除端点 - DeleteV2Endpoint
镜像管理
注册自定义镜像 - RegisterV2Image
查看自定义镜像列表 - ListV2Images
添加自定义镜像版本 - AddV2ImageVersion
查看自定义镜像版本 - ShowV2ImageVersion
删除指定镜像版本 - DeleteV2ImageVersion
删除镜像下所有版本 - DeleteV2Image
查询镜像详情 - ShowV2Image
查看自定义镜像版本列表 - ListV2ImageVersions
更新自定义镜像版本 - UpdateV2ImageVersion
权限和授权项
权限及授权项说明
策略授权参考
身份策略授权参考
附录
状态码
错误码
获取项目ID
获取账号ID
Spark作业中SQL语句占位符使用指南
开发指南
Iceberg开发指南
Iceberg简介
Iceberg功能介绍
Iceberg表属性参数介绍
Iceberg Catalog介绍
Iceberg表Schema演进介绍
Iceberg表支持的数据类型介绍
Iceberg隐式分区和分区演进介绍
Iceberg Native加速层介绍
Iceberg Native加速层简介
Iceberg Native核心功能
Iceberg Native参数开关和数据类型支持
Iceberg on Aura
使用Iceberg前准备
Iceberg配置与类型
Iceberg on Aura DDL语法说明
查询和写入Iceberg表
表达式分区
Iceberg表服务
Iceberg on Spark
Iceberg配置与类型
Iceberg on Spark DDL语法说明
查询Iceberg表数据
向Iceberg表中写入数据
Iceberg表存储过程管理
使用spark流式读写Iceberg
Iceberg开发常见问题
如何处理并发提交数据冲突
如何处理乐观锁并发提交元数据冲突
使用LakeFormation进行表维护
使用引擎进行表维护
Lance开发指南
Lance简介
Lance功能介绍
Lance表目录介绍
Lance索引介绍
Lance表Schema演进介绍
Lance表支持的数据类型介绍
Lance Namespace和LakeFormation Catalog介绍
Lance on Aura
使用Lance前准备
Lance配置与类型
Lance on Aura DDL语法说明
查询和写入Lance表
更新Lance表
Lance表使用索引
Lance开发常见问题
如何处理Lance表并发冲突
Spark UDF开发指南
在Spark SQL作业中使用UDF
在Spark SQL作业中使用UDAF
在Spark SQL作业中使用UDTF
Aura语法参考
使用前必读
快速开始:使用Aura端点运行DataFrame或SQL作业
Aura SQL开发参考
快速开始
单表查询
多表连接查询
使用JDBC提交Aura SQL
开发规范
基于JDBC开发
JDBC包与驱动类
开发流程
加载驱动
连接数据库
执行SQL语句
处理结果集
关闭连接
示例:常用操作
JDBC接口参考
java.sql.Connection
java.sql.DatabaseMetaData
java.sql.Driver
java.sql.PreparedStatement
java.sql.ResultSet
java.sql.ResultSetMetaData
java.sql.Statement
javax.sql.ConnectionPoolDataSource
javax.sql.DataSource
javax.sql.PooledConnection
javax.naming.Context
javax.naming.spi.InitialContextFactory
Java SDK
使用前须知
使用前准备
客户端初始化
SDK方法介绍
性能调优
性能调优概述
系统调优
数据库系统参数调优
SMP并行执行
SQL调优
SQL查询执行流程
SQL执行计划
执行计划算子
SQL执行监控
SQL调优流程
更新统计信息
SQL调优进阶
子查询调优
算子级调优
SQL语句改写规则
优化器参数调整
使用Plan Hint进行调优
Plan Hint调优概述
Join顺序的Hint
Join方式的Hint
行数的Hint
Stream方式的Hint
子链接块名的hint
指定子查询不提升的hint
配置参数的hint
Hint的错误、冲突及告警
执行计划算子监控
SQL调优案例
案例:调整GUC参数best_agg_plan
设计数据库对象
创建和管理Schema
创建和管理表
表分区定义
Aura DataFrame开发参考
概述
快速开始
数据类型
概述
图片
视频
音频
向量
用户自定义函数UDF
UDF概述
函数类型
Scalar UDF
Class UDF
Vectorized UDF
UDTF
UDAF
语法参考
约束限制
数据类型映射
代码归档包的组织结构
开发注意事项
WITH ARGUMENTS语法
自适应并行
Scalar UDF
UDTF
UDAF
UDF 错误处理与重试
环境变量设置
UDF Actor放置策略
Python UDF性能调优
多模态数据开发示例
DataFrame示例
语音识别示例
视频帧描述与摘要生成示例
接口参考
接口总览
接口参考说明
Dataset APIs
Table APIs
User-Defined Function APIs
Session APIs
AI APIs
I/O APIs
用户及权限管理
Aura服务权限介绍
用户管理
权限管理
权限介绍
角色管理
对象授权/取消授权管理
SQL on Iceberg
SQL on Lance
SQL语法参考
关键字
数据类型
与LakeFormation数据类型映射关系
数值类型
布尔类型
字符类型
二进制类型
日期/时间类型
对象标识符类型
隐式转换支持范围
复杂类型
函数和操作符
字符处理函数和操作符
二进制字符串函数和操作符
位串函数和操作符
数字操作函数和操作符
数字操作符
数字操作函数
时间、日期处理函数和操作符
时间/日期操作符
时间/日期函数
EXTRACT
date_part
date_format
time_format
数组函数和操作符
数组操作符
数组函数
逻辑操作符
比较操作符
模式匹配操作符
聚集函数
窗口函数
类型转换函数
JSON/JSONB函数和操作符
JSON/JSONB操作符
JSON/JSONB函数
条件表达式函数
返回集合的函数
序列号生成函数
系统信息函数
会话信息函数
系统表信息函数
系统函数信息函数
状态信息函数
系统管理函数
内存管理函数
数据库对象函数
数据库对象尺寸函数
统计信息函数
Iceberg表服务函数
大模型推理函数
表达式
简单表达式
条件表达式
子查询表达式
数组表达式
行表达式
类型转换
概述
操作符
函数
值存储
UNION,CASE和相关构造
DDL语法
SHOW
SHOW Conf
SHOW Schemas/Tables/Views/Partitions/Functions/Models
CREATE SCHEMA
DROP SCHEMA
CREATE TABLE
CREATE VIEW
CREATE FUNCTION
CREATE MODEL
DROP TABLE
DROP VIEW
DROP FUNCTION
DROP MODEL
ALTER TABLE
DESCRIBE
MSCK REPAIR TABLE
TRUNCATE
CREATE INDEX
DROP INDEX
SHOW INDEX
ALTER INDEX
CREATE ROLE
DROP ROLE
ALTER ROLE
ALTER USER
ALTER USER GROUP
DML语法
DML语法一览表
EXPLAIN
INSERT
VALUES
DELETE
MERGE INTO
OPTIMIZE
UPDATE
DCL语法
ANALYZE | ANALYSE
GRANT
REVOKE
DQL语法
SELECT
WITH表达式
GUC参数
查看和设置GUC参数
连接和认证
安全和认证
查询规划
优化器方法配置
其他优化器选项
客户端连接缺省设置
语句行为
区域和格式化
锁管理
Python UDF
向量检索
Spark语法参考
Spark SQL语法概览
数据库相关
创建数据库
删除数据库
查看指定数据库
查看所有数据库
修改数据库属性
表相关
表类型说明
创建表
使用DataSource语法创建Managed Table
使用Hive语法创建Managed Table
使用DataSource语法创建External Table
使用Hive语法创建External Table
删除表
查看表
查看所有表
查看建表语句
查看表属性
查看指定表所有列
查看指定表所有分区
查看表统计信息
修改表
添加列
修改列注释
表别名
分区相关
添加分区
重命名分区
删除分区
修改表分区位置
更新表分区信息
数据操作语法
导入数据
插入数据
复用子查询
清空数据
导出查询结果
视图
创建视图
删除视图
修改视图
查看视图
物化视图
使用场景
配置参数
普通物化视图
语法参考
权限管理
自动改写
元数据
约束与限制
智能物化视图
语法参考
权限管理
视图刷新
刷新策略
刷新时效
视图元数据
CTE物化
约束与限制
查看计划
数据权限语法
数据权限列表
创建角色
显示角色
删除角色
绑定角色
解绑角色
分配权限
回收权限
显示已授权限
显示所有角色和用户的绑定关系
数据类型
概述
原生数据类型
复杂数据类型
Iceberg表相关语法
函数语法
SQL自定义函数
创建函数
删除函数
显示函数详情
显示所有函数
DESCRIBE FUNCTION
查询语法
Select
排序
ORDER BY
SORT BY
CLUSTER BY
DISTRIBUTE BY
分组
按列GROUP BY
按表达式GROUP BY
GROUP BY中使用HAVING
ROLLUP
GROUPING SETS
连接
内连接
左外连接
右外连接
全外连接
隐式连接
笛卡尔连接
左半连接
不等值连接
子句
FROM
OVER
WHERE
HAVING
多层嵌套子查询
别名SELECT
列别名
集合运算select
UNION
INTERSECT
EXCEPT
CASE...WHEN
Pipe语法(|>)
导出查询结果
内置函数
日期函数
add_months
current_date
current_timestamp
date_add
dateadd1
date_sub
date_format
datediff
datediff1
datepart1
datetrunc
day/dayofmonth
from_unixtime
from_utc_timestamp
getdate
hour
isdate
last_day
last_day1
minute
month
months_between
next_day
quarter
second
to_char1
to_date
to_date1
to_utc_timestamp
trunc
trunc_numeric
unix_timestamp
weekday
weekofyear
year
字符串函数
ascii
concat
concat_ws
char_matchcount
encode
find_in_set
get_json_object
initcap
instr
instr1
keyvalue
length
lengthb
levenshtein
locate
lower/lcase
lpad
ltrim
parse_url
regexp_count1
regexp_extract
regexp_instr1
regexp_replace
regexp_replace1
regexp_substr1
repeat
replace
reverse
rpad
rtrim
space
split_part1
substr/substring
substring_index
translate
trim
upper/ucase
url_decode1
url_encode1
printf
数学函数
abs
acos
asin
atan
bin
bround
cbrt
ceil
conv
cos
cot1
degrees
e
exp
factorial
floor
greatest
hex
least
ln
log
log10
log2
negative
pi
pmod
positive
pow
radians
rand
round
shiftleft
shiftright
shiftrightunsigned
sign
sin
soundex
sqrt
tan
聚合函数
avg
corr
count
covar_pop
covar_samp
max
min
percentile
percentile_approx
stddev_pop
stddev_samp
sum
variance/var_pop
var_samp
median
分析窗口函数
cume_dist
first_value
last_value
lag
lead
percent_rank
rank
row_number
其他函数
decode1
ordinal
trans_array
标识符
aggregate_func
alias
attr_expr
attr_expr_list
attrs_value_set_expr
boolean_expression
class_name
col
col_comment
col_name
col_name_list
condition
condition_list
cte_name
data_type
db_comment
db_name
else_result_expression
file_format
file_path
function_name
groupby_expression
having_condition
hdfs_path
input_expression
input_format_classname
jar_path
join_condition
non_equi_join_condition
number
num_buckets
output_format_classname
partition_col_name
partition_col_value
partition_specs
property_name
property_value
regex_expression
result_expression
row_format
select_statement
separator
serde_name
sql_containing_cte_name
sub_query
table_comment
table_name
table_properties
table_reference
view_name
view_properties
when_expression
where_condition
window_function
运算符
关系运算符
算术运算符
逻辑运算符
约束与限制
常见问题
服务咨询类
工作空间类
计算资源池类
端点类
计算引擎类
在DataArts Studio上执行Aura作业时报错,如何解决?
Spark中Parquet的brotli压缩格式无法使用怎么办?
作业开发类
视频帮助
文档下载
通用参考
产品术语
责任共担
云服务等级协议(SLA)
白皮书资源
支持区域
系统权限