智能数据湖 AIDataLake
智能数据湖 AIDataLake

    本产品内“”的所有结果

      本产品内“”的所有结果

      • 最新动态
      • 版本规划
        • AI DataLake版本说明
      • 产品介绍
        • 什么是AI DataLake
        • 产品优势
        • 应用场景
          • 智驾多模态数据处理
          • 互联网应用音频加工流水线
          • 互联网AI数据管线
          • 金融交易数据实时分析与风控
        • 产品功能
        • 计算引擎
          • 多模数据引擎Aura
          • AI计算引擎Ray
          • 批处理引擎Spark
          • 流处理引擎Flink
        • 产品规格
        • 安全
          • 身份认证与访问控制
          • 数据保护技术
          • 审计与日志
          • 服务韧性
          • 监控安全风险
          • 故障恢复
          • 更新管理
          • 认证证书
        • 权限管理
        • 约束与限制
        • 配额管理
        • 与其他服务的关系
      • 计费说明
        • 计费概述
        • 弹性资源计费
        • 预留资源池计费
        • 存储资源计费
        • 计费样例
        • 变更计费模式
          • 按需转包年/包月
          • 包年/包月转按需
        • 续费
          • 续费概述
          • 自动续费
          • 手动续费
        • 欠费说明
        • 停止计费
      • 快速入门
        • 首次使用AI DataLake
        • 基于用户自定义镜像的多模数据处理
        • 基于Aura DataFrame的多模数据处理
        • 基于RayCluster Data的数据处理
        • 基于RayJob Data的数据处理
        • 基于PySpark的数据处理
      • 用户指南
        • 准备工作
          • 注册华为账号并开通华为云
          • 开通AI DataLake服务并授权
          • 通过IAM授予使用AI DataLake的权限
            • 通过IAM角色或策略授予使用AI DataLake的权限
            • 通过IAM身份策略授予使用AI DataLake的权限
        • 创建AI DataLake工作空间
          • 工作空间概述
          • 创建工作空间
          • 管理工作空间
        • 创建AI DataLake计算资源池
          • 计算资源池概述
          • 购买预留资源池
          • 配置计算资源池网络
            • 为什么要配置计算资源池网络
            • 创建网络
          • 调整计算资源池容量
          • 管理计算资源池
        • 创建AI DataLake存储资源
          • 购买存储资源
          • 管理存储资源
          • 调整存储资源容量
        • 创建AI DataLake Aura引擎端点
          • Aura引擎端点概述
          • 创建Aura引擎端点
          • 管理Aura引擎端点
          • 会话管理
          • 查看Aura端点监控
          • 查看Aura作业监控
        • 创建AI DataLake Ray引擎端点
          • Ray引擎端点概述
          • 创建Ray引擎端点
          • 管理Ray引擎端点
          • 查看Ray端点作业监控信息
        • 创建AI DataLake Spark引擎端点
          • Spark端点类型概述
          • 创建Spark引擎端点
          • 管理Spark端点的详细信息
          • 查看Spark端点的资源及作业监控信息
          • 查看Spark UI
          • 查看作业性能指标
          • Spark Native算子优化
        • 使用DataArts Studio开发AI DataLake作业
        • 管理数据与元数据
          • 了解数据目录、数据库和表
          • 创建数据目录、数据库和表
          • 通过AI DataLake查看元数据
          • Spark对接LakeFormation数据权限管理
          • SparkSQL-SQL鉴权
          • SparkJob-SQL鉴权
        • 查看作业运行历史
        • 管理AI DataLake镜像
        • 配置AI DataLake访问其他云服务的委托权限
          • 委托概述
          • 创建自定义委托
          • 常见场景的委托权限策略
        • 监控AI DataLake资源
          • 监控AI DataLake计算资源池
          • 监控AI DataLake存储资源
        • 使用LTS管理AI DataLake作业日志
        • 使用CTS审计AI DataLake服务
      • API参考
        • 使用前必读
        • API概览
        • 如何调用API
          • 构造请求
          • 认证鉴权
          • 返回结果
        • 应用示例
          • 创建工作空间应用示例
          • 创建计算资源应用示例
          • 创建端点应用示例
          • AuraJobV2作业接口应用示例
          • Ray作业接口应用示例
          • SparkJob作业接口应用示例
        • Aura API
          • AuraJobV2作业管理
            • 创建Session - CreateAuraV2SqlSession
            • 查看Session列表 - ListAuraV2SqlSessions
            • 查看Session详情 - ShowAuraV2SqlSession
            • 关闭Session - CloseAuraV2SqlSession
            • 在指定Session中执行SQL - ExecuteAuraV2SqlStatement
            • 查看SQL执行结果 - ShowAuraV2SqlStatementResult
            • 取消SQL执行 - CancelAuraV2SqlStatement
            • 查看SQL执行记录 - ListAuraV2StatementRecords
            • 查看语句监控详情 - ShowAuraV2StatementQueryMetrics
            • 查看指定Session下的SQL执行记录 - ListAuraV2SessionStatementRecords
            • 查看SQL执行算子监控记录 - ShowAuraV2StatementOperatorMetrics
        • Ray API
          • RayJob管理
            • 运行作业 - RunRayJob
            • 查询Ray作业列表 - ListRayJobs
            • 查询作业详情 - ShowRayJob
            • 取消作业运行 - CancelRayJob
        • Spark API
          • Spark作业管理
            • 查询Spark作业的状态 - ShowSparkJobState
            • 启动Spark作业 - RunSparkJob
            • 查询Spark作业列表 - ListSparkJobs
            • 查看Spark作业详情 - ShowSparkJob
            • 查看Spark作业提交日志 - ShowSparkJobSubmitLog
            • 取消Spark作业执行 - CancelSparkJob
          • SparkSql作业管理
            • 查询SparkSql作业的状态 - ShowSparkSqlState
            • 查询SparkSql作业列表 - ListSparkSqls
            • 查看SparkSql作业详情 - ShowSparkSql
            • 取消SparkSql作业执行 - CancelSparkSql
            • 执行SparkSql作业 - RunSparkSql
            • 预览SparkSql作业查询结果 - PreviewSparkSqlResult
            • 重启SparkSql集群 - RestartSparkSqlCluster
          • SparkOperators操作管理
            • 查询Spark异步操作状态 - ShowSparkOperatorState
        • 用户协议管理
          • 查询系统协议 - ListV2AgreementRule
          • 签署租户协议 - SignV2Agreement
          • 查询用户是否签署协议 - ShowV2Agreement
          • 删除用户签署协议 - DeleteV2Agreement
        • 委托管理
          • 创建服务委托 - CreateV2Agency
          • 删除服务委托 - DeleteV2Agency
          • 查询服务委托 - ShowV2Agency
          • 附加策略 - AttachV2AgencyPolicy
          • 移除策略 - DetachV2AgencyPolicy
        • 工作空间管理
          • 查询工作空间列表 - ListV2Workspaces
          • 查询工作空间详细信息 - ShowV2Workspace
          • 更新工作空间 - UpdateV2Workspace
          • 创建工作空间 - CreateV2Workspace
          • 删除工作空间 - DeleteV2Workspace
        • 计算资源管理
          • 查询计算资源列表 - ListV2Computes
          • 查看计算资源详情 - ShowV2Compute
          • 创建计算资源 - CreateV2Compute
          • 更新计算资源 - UpdateV2Compute
          • 查询资源池监控 - ShowV2ComputesMetrics
          • 删除计算资源 - DeleteV2Compute
          • 查询计算资源操作记录列表 - ListV2ComputeVersions
        • 端点管理
          • 查询所有端点列表 - ListV2AllEndpoints
          • 查询端点列表 - ListV2Endpoints
          • 查询端点配置限制 - ShowV2EndpointResourceLimit
          • 创建端点 - CreateV2Endpoint
          • 查询端点详情 - ShowV2Endpoint
          • 查询端点监控 - ShowV2EndpointsMetrics
          • 更新端点 - UpdateV2Endpoint
          • 删除端点 - DeleteV2Endpoint
        • 镜像管理
          • 注册自定义镜像 - RegisterV2Image
          • 查看自定义镜像列表 - ListV2Images
          • 添加自定义镜像版本 - AddV2ImageVersion
          • 查看自定义镜像版本 - ShowV2ImageVersion
          • 删除指定镜像版本 - DeleteV2ImageVersion
          • 删除镜像下所有版本 - DeleteV2Image
          • 查询镜像详情 - ShowV2Image
          • 查看自定义镜像版本列表 - ListV2ImageVersions
          • 更新自定义镜像版本 - UpdateV2ImageVersion
        • 权限和授权项
          • 权限及授权项说明
          • 策略授权参考
          • 身份策略授权参考
        • 附录
          • 状态码
          • 错误码
          • 获取项目ID
          • 获取账号ID
          • Spark作业中SQL语句占位符使用指南
      • 开发指南
        • Iceberg开发指南
          • Iceberg简介
            • Iceberg功能介绍
            • Iceberg表属性参数介绍
            • Iceberg Catalog介绍
            • Iceberg表Schema演进介绍
            • Iceberg表支持的数据类型介绍
            • Iceberg隐式分区和分区演进介绍
            • Iceberg Native加速层介绍
              • Iceberg Native加速层简介
              • Iceberg Native核心功能
              • Iceberg Native参数开关和数据类型支持
          • Iceberg on Aura
            • 使用Iceberg前准备
            • Iceberg配置与类型
            • Iceberg on Aura DDL语法说明
            • 查询和写入Iceberg表
            • 表达式分区
            • Iceberg表服务
          • Iceberg on Spark
            • Iceberg配置与类型
            • Iceberg on Spark DDL语法说明
            • 查询Iceberg表数据
            • 向Iceberg表中写入数据
            • Iceberg表存储过程管理
            • 使用spark流式读写Iceberg
          • Iceberg开发常见问题
            • 如何处理并发提交数据冲突
            • 如何处理乐观锁并发提交元数据冲突
            • 使用LakeFormation进行表维护
            • 使用引擎进行表维护
        • Lance开发指南
          • Lance简介
            • Lance功能介绍
            • Lance表目录介绍
            • Lance索引介绍
            • Lance表Schema演进介绍
            • Lance表支持的数据类型介绍
            • Lance Namespace和LakeFormation Catalog介绍
          • Lance on Aura
            • 使用Lance前准备
            • Lance配置与类型
            • Lance on Aura DDL语法说明
            • 查询和写入Lance表
            • 更新Lance表
            • Lance表使用索引
          • Lance开发常见问题
            • 如何处理Lance表并发冲突
        • Spark UDF开发指南
          • 在Spark SQL作业中使用UDF
          • 在Spark SQL作业中使用UDAF
          • 在Spark SQL作业中使用UDTF
      • Aura语法参考
        • 使用前必读
        • 快速开始:使用Aura端点运行DataFrame或SQL作业
        • Aura SQL开发参考
          • 快速开始
            • 单表查询
            • 多表连接查询
          • 使用JDBC提交Aura SQL
            • 开发规范
            • 基于JDBC开发
              • JDBC包与驱动类
              • 开发流程
              • 加载驱动
              • 连接数据库
              • 执行SQL语句
              • 处理结果集
              • 关闭连接
              • 示例:常用操作
              • JDBC接口参考
                • java.sql.Connection
                • java.sql.DatabaseMetaData
                • java.sql.Driver
                • java.sql.PreparedStatement
                • java.sql.ResultSet
                • java.sql.ResultSetMetaData
                • java.sql.Statement
                • javax.sql.ConnectionPoolDataSource
                • javax.sql.DataSource
                • javax.sql.PooledConnection
                • javax.naming.Context
                • javax.naming.spi.InitialContextFactory
            • Java SDK
              • 使用前须知
              • 使用前准备
              • 客户端初始化
              • SDK方法介绍
          • 性能调优
            • 性能调优概述
            • 系统调优
              • 数据库系统参数调优
              • SMP并行执行
            • SQL调优
              • SQL查询执行流程
              • SQL执行计划
              • 执行计划算子
              • SQL执行监控
              • SQL调优流程
              • 更新统计信息
              • SQL调优进阶
                • 子查询调优
                • 算子级调优
                • SQL语句改写规则
              • 优化器参数调整
              • 使用Plan Hint进行调优
                • Plan Hint调优概述
                • Join顺序的Hint
                • Join方式的Hint
                • 行数的Hint
                • Stream方式的Hint
                • 子链接块名的hint
                • 指定子查询不提升的hint
                • 配置参数的hint
                • Hint的错误、冲突及告警
              • 执行计划算子监控
            • SQL调优案例
              • 案例:调整GUC参数best_agg_plan
          • 设计数据库对象
            • 创建和管理Schema
            • 创建和管理表
            • 表分区定义
        • Aura DataFrame开发参考
          • 概述
          • 快速开始
          • 数据类型
            • 概述
            • 图片
            • 视频
            • 音频
            • 向量
          • 用户自定义函数UDF
            • UDF概述
            • 函数类型
              • Scalar UDF
              • Class UDF
              • Vectorized UDF
              • UDTF
              • UDAF
            • 语法参考
              • 约束限制
              • 数据类型映射
              • 代码归档包的组织结构
              • 开发注意事项
              • WITH ARGUMENTS语法
              • 自适应并行
              • Scalar UDF
              • UDTF
              • UDAF
              • UDF 错误处理与重试
              • 环境变量设置
              • UDF Actor放置策略
          • Python UDF性能调优
          • 多模态数据开发示例
            • DataFrame示例
            • 语音识别示例
            • 视频帧描述与摘要生成示例
          • 接口参考
            • 接口总览
            • 接口参考说明
              • Dataset APIs
              • Table APIs
              • User-Defined Function APIs
              • Session APIs
              • AI APIs
              • I/O APIs
        • 用户及权限管理
          • Aura服务权限介绍
          • 用户管理
          • 权限管理
            • 权限介绍
            • 角色管理
            • 对象授权/取消授权管理
        • SQL on Iceberg
        • SQL on Lance
        • SQL语法参考
          • 关键字
          • 数据类型
            • 与LakeFormation数据类型映射关系
            • 数值类型
            • 布尔类型
            • 字符类型
            • 二进制类型
            • 日期/时间类型
            • 对象标识符类型
            • 隐式转换支持范围
            • 复杂类型
          • 函数和操作符
            • 字符处理函数和操作符
            • 二进制字符串函数和操作符
            • 位串函数和操作符
            • 数字操作函数和操作符
              • 数字操作符
              • 数字操作函数
            • 时间、日期处理函数和操作符
              • 时间/日期操作符
              • 时间/日期函数
              • EXTRACT
              • date_part
              • date_format
              • time_format
            • 数组函数和操作符
              • 数组操作符
              • 数组函数
            • 逻辑操作符
            • 比较操作符
            • 模式匹配操作符
            • 聚集函数
            • 窗口函数
            • 类型转换函数
            • JSON/JSONB函数和操作符
              • JSON/JSONB操作符
              • JSON/JSONB函数
            • 条件表达式函数
            • 返回集合的函数
              • 序列号生成函数
            • 系统信息函数
              • 会话信息函数
              • 系统表信息函数
              • 系统函数信息函数
              • 状态信息函数
            • 系统管理函数
              • 内存管理函数
            • 数据库对象函数
              • 数据库对象尺寸函数
            • 统计信息函数
            • Iceberg表服务函数
            • 大模型推理函数
          • 表达式
            • 简单表达式
            • 条件表达式
            • 子查询表达式
            • 数组表达式
            • 行表达式
          • 类型转换
            • 概述
            • 操作符
            • 函数
            • 值存储
            • UNION,CASE和相关构造
          • DDL语法
            • SHOW
              • SHOW Conf
              • SHOW Schemas/Tables/Views/Partitions/Functions/Models
            • CREATE SCHEMA
            • DROP SCHEMA
            • CREATE TABLE
            • CREATE VIEW
            • CREATE FUNCTION
            • CREATE MODEL
            • DROP TABLE
            • DROP VIEW
            • DROP FUNCTION
            • DROP MODEL
            • ALTER TABLE
            • DESCRIBE
            • MSCK REPAIR TABLE
            • TRUNCATE
            • CREATE INDEX
            • DROP INDEX
            • SHOW INDEX
            • ALTER INDEX
            • CREATE ROLE
            • DROP ROLE
            • ALTER ROLE
            • ALTER USER
            • ALTER USER GROUP
          • DML语法
            • DML语法一览表
            • EXPLAIN
            • INSERT
            • VALUES
            • DELETE
            • MERGE INTO
            • OPTIMIZE
            • UPDATE
          • DCL语法
            • ANALYZE | ANALYSE
            • GRANT
            • REVOKE
          • DQL语法
            • SELECT
            • WITH表达式
        • GUC参数
          • 查看和设置GUC参数
          • 连接和认证
            • 安全和认证
          • 查询规划
            • 优化器方法配置
            • 其他优化器选项
          • 客户端连接缺省设置
            • 语句行为
            • 区域和格式化
          • 锁管理
          • Python UDF
          • 向量检索
      • Spark语法参考
        • Spark SQL语法概览
        • 数据库相关
          • 创建数据库
          • 删除数据库
          • 查看指定数据库
          • 查看所有数据库
          • 修改数据库属性
        • 表相关
          • 表类型说明
          • 创建表
            • 使用DataSource语法创建Managed Table
            • 使用Hive语法创建Managed Table
            • 使用DataSource语法创建External Table
            • 使用Hive语法创建External Table
          • 删除表
          • 查看表
            • 查看所有表
            • 查看建表语句
            • 查看表属性
            • 查看指定表所有列
            • 查看指定表所有分区
            • 查看表统计信息
          • 修改表
            • 添加列
            • 修改列注释
          • 表别名
          • 分区相关
            • 添加分区
            • 重命名分区
            • 删除分区
            • 修改表分区位置
            • 更新表分区信息
        • 数据操作语法
          • 导入数据
          • 插入数据
          • 复用子查询
          • 清空数据
        • 导出查询结果
        • 视图
          • 创建视图
          • 删除视图
          • 修改视图
          • 查看视图
        • 物化视图
          • 使用场景
          • 配置参数
          • 普通物化视图
            • 语法参考
            • 权限管理
            • 自动改写
            • 元数据
            • 约束与限制
          • 智能物化视图
            • 语法参考
            • 权限管理
            • 视图刷新
              • 刷新策略
              • 刷新时效
              • 视图元数据
            • CTE物化
            • 约束与限制
        • 查看计划
        • 数据权限语法
          • 数据权限列表
          • 创建角色
          • 显示角色
          • 删除角色
          • 绑定角色
          • 解绑角色
          • 分配权限
          • 回收权限
          • 显示已授权限
          • 显示所有角色和用户的绑定关系
        • 数据类型
          • 概述
          • 原生数据类型
          • 复杂数据类型
        • Iceberg表相关语法
        • 函数语法
          • SQL自定义函数
          • 创建函数
          • 删除函数
          • 显示函数详情
          • 显示所有函数
          • DESCRIBE FUNCTION
        • 查询语法
          • Select
          • 排序
            • ORDER BY
            • SORT BY
            • CLUSTER BY
            • DISTRIBUTE BY
          • 分组
            • 按列GROUP BY
            • 按表达式GROUP BY
            • GROUP BY中使用HAVING
            • ROLLUP
            • GROUPING SETS
          • 连接
            • 内连接
            • 左外连接
            • 右外连接
            • 全外连接
            • 隐式连接
            • 笛卡尔连接
            • 左半连接
            • 不等值连接
          • 子句
            • FROM
            • OVER
            • WHERE
            • HAVING
            • 多层嵌套子查询
          • 别名SELECT
            • 列别名
          • 集合运算select
            • UNION
            • INTERSECT
            • EXCEPT
          • CASE...WHEN
          • Pipe语法(|>)
        • 导出查询结果
        • 内置函数
          • 日期函数
            • add_months
            • current_date
            • current_timestamp
            • date_add
            • dateadd1
            • date_sub
            • date_format
            • datediff
            • datediff1
            • datepart1
            • datetrunc
            • day/dayofmonth
            • from_unixtime
            • from_utc_timestamp
            • getdate
            • hour
            • isdate
            • last_day
            • last_day1
            • minute
            • month
            • months_between
            • next_day
            • quarter
            • second
            • to_char1
            • to_date
            • to_date1
            • to_utc_timestamp
            • trunc
            • trunc_numeric
            • unix_timestamp
            • weekday
            • weekofyear
            • year
          • 字符串函数
            • ascii
            • concat
            • concat_ws
            • char_matchcount
            • encode
            • find_in_set
            • get_json_object
            • initcap
            • instr
            • instr1
            • keyvalue
            • length
            • lengthb
            • levenshtein
            • locate
            • lower/lcase
            • lpad
            • ltrim
            • parse_url
            • regexp_count1
            • regexp_extract
            • regexp_instr1
            • regexp_replace
            • regexp_replace1
            • regexp_substr1
            • repeat
            • replace
            • reverse
            • rpad
            • rtrim
            • space
            • split_part1
            • substr/substring
            • substring_index
            • translate
            • trim
            • upper/ucase
            • url_decode1
            • url_encode1
            • printf
          • 数学函数
            • abs
            • acos
            • asin
            • atan
            • bin
            • bround
            • cbrt
            • ceil
            • conv
            • cos
            • cot1
            • degrees
            • e
            • exp
            • factorial
            • floor
            • greatest
            • hex
            • least
            • ln
            • log
            • log10
            • log2
            • negative
            • pi
            • pmod
            • positive
            • pow
            • radians
            • rand
            • round
            • shiftleft
            • shiftright
            • shiftrightunsigned
            • sign
            • sin
            • soundex
            • sqrt
            • tan
          • 聚合函数
            • avg
            • corr
            • count
            • covar_pop
            • covar_samp
            • max
            • min
            • percentile
            • percentile_approx
            • stddev_pop
            • stddev_samp
            • sum
            • variance/var_pop
            • var_samp
            • median
          • 分析窗口函数
            • cume_dist
            • first_value
            • last_value
            • lag
            • lead
            • percent_rank
            • rank
            • row_number
          • 其他函数
            • decode1
            • ordinal
            • trans_array
        • 标识符
          • aggregate_func
          • alias
          • attr_expr
          • attr_expr_list
          • attrs_value_set_expr
          • boolean_expression
          • class_name
          • col
          • col_comment
          • col_name
          • col_name_list
          • condition
          • condition_list
          • cte_name
          • data_type
          • db_comment
          • db_name
          • else_result_expression
          • file_format
          • file_path
          • function_name
          • groupby_expression
          • having_condition
          • hdfs_path
          • input_expression
          • input_format_classname
          • jar_path
          • join_condition
          • non_equi_join_condition
          • number
          • num_buckets
          • output_format_classname
          • partition_col_name
          • partition_col_value
          • partition_specs
          • property_name
          • property_value
          • regex_expression
          • result_expression
          • row_format
          • select_statement
          • separator
          • serde_name
          • sql_containing_cte_name
          • sub_query
          • table_comment
          • table_name
          • table_properties
          • table_reference
          • view_name
          • view_properties
          • when_expression
          • where_condition
          • window_function
        • 运算符
          • 关系运算符
          • 算术运算符
          • 逻辑运算符
        • 约束与限制
      • 常见问题
        • 服务咨询类
        • 工作空间类
        • 计算资源池类
        • 端点类
        • 计算引擎类
          1. 在DataArts Studio上执行Aura作业时报错,如何解决?
          2. Spark中Parquet的brotli压缩格式无法使用怎么办?
        • 作业开发类
      • 视频帮助
      • 文档下载
      • 通用参考
        • 产品术语
        • 责任共担
        • 云服务等级协议(SLA)
        • 白皮书资源
        • 支持区域
        • 系统权限