文档首页/ 智能数据湖 AIDataLake/ 产品介绍/ 产品功能
更新时间：2026-05-14 GMT+08:00
查看PDF
分享

产品功能

工作空间

使用AI DataLake进行数据分析场景，管理员首先需要考虑的就是项目隔离、权限隔离与管理、资源分配问题。AI DataLake的工作空间正是为解决这些问题而设计，从系统层面为管理者提供对使用AI DataLake的用户（成员）权限、资源、底层计算引擎配置的管理能力。它通过环境隔离、资源绑定的基本逻辑，为您提供一个独立的开发环境，并基于此环境创建计算资源、选择引擎、配置端点、开发作业，从而实现高效有序、安全隔离的数据开发。

您只有在加入工作空间并被分配权限后，才可具备AI DataLake的相关操作权限。

了解更多AI DataLake工作空间使用约束限制请参考了解工作空间。

在AI DataLake服务架构中工作空间是业务与权限的隔离单元，LakeFormation实例是元数据与权限的数据服务载体。

  • 工作空间：是面向业务的逻辑空间，只有绑定一个LakeFormation实例才能使用元数据能力。
  • LakeFormation实例提供元数据服务、权限管理的能力。
  • 一个LakeFormation实例可被多个工作空间绑定，实现元数据共享+权限隔离。

在实际工作时：

  • 工作空间本身不存储元数据，所有元数据操作（建库、建表、授权）都转发给绑定的LakeFormation实例执行。
  • LakeFormation实例不感知业务隔离，仅提供统一的元数据读写与权限校验。而LakeFormation管理的数据都存在OBS中，因此在创建LakeFormation实例时需要绑定OBS桶。

如图 工作空间与LakeFormation实例的关系所示，用户User A创建工作空间S1，并绑定LakeFormation实例L1。用户User B创建工作空间S2后，通过LakeFormation的权限授权配置，实现S2访问L1中创建的元数据与对应OBS数据，从而达成多工作空间共享同一元数据实例、按需权限隔离与互访的效果。

图1 工作空间与LakeFormation实例的关系

计算引擎

AI DataLake提供了多种计算引擎，满足不同业务场景的需求，您可根据实际负载灵活选择。

多模数据引擎Aura

  • 功能特点：

    多模数据引擎Aura是专为管理、处理、分析多模态数据类型（如文本、图像、音频、视频）而设计。以“One Flow，One Pool，One Data”的核心理念，为多模态数据处理提供了高效、灵活、低成本的解决方案。在智驾数据预处理等典型场景中，Aura通过异构资源统一调度、数据流转不落地、流水线并行优化等技术，显著提升了资源利用率和数据处理效率，降低了开发和运维成本，为AI应用提供了坚实的数据基础。

  • 适用场景：
    • 多模态数据处理场景

      需要同时处理文本、图像、音频、视频、点云等多种数据类型的场景。例如智能驾驶领域的数据采集、预处理、特征提取等场景。

    • 异构计算协同的大数据处理场景：需要处理海量数据的场景，例如通过调度CPU、GPU、NPU等多种计算资源协同工作的场景。

更多信息请参考多模数据引擎Aura。

AI计算引擎Ray

  • 功能特点

    AI计算引擎Ray是专为大规模AI工作负载设计的统一分布式计算引擎。Ray通过CPU、GPU、NPU异构计算调度为AI工作负载提供统一的计算底座，覆盖从数据加载到预处理的全流程。

  • 适用场景：
    • 大规模AI数据预处理。为训练模型进行海量数据的清洗、增强与特征工程。
    • 端到端ML/RL流水线中的数据环节。在模型训练、超参调优的前端数据准备阶段，保障数据供给效率。

更多信息请参考AI计算引擎Ray。

批处理引擎Spark

  • 功能特点

    批处理引擎Spark具备海量异构数据的统一批处理、交互查询能力，深度兼容Apache Spark生态，高效支撑大规模离线ETL、实时计算及大模型数据预处理等复杂场景，为企业数据探索、智能决策及业务应用落地提供免运维、弹性、高可靠的底层大数据算力支撑。

  • 适用场景：
    • 适用于需要进行大规模数据批处理和复杂数据分析的场景。
    • 适合对历史数据进行深度挖掘和分析，例如数据仓库中的数据查询和报表生成。

更多信息请参考批处理引擎Spark。

流处理引擎Flink

流处理引擎Flink公测期暂未开放。

  • 功能特点

    流处理引擎Flink具备大规模实时数据流的统一接入、事件驱动处理与全生命周期状态管理能力，在原生生态基础上强化安全与计算特性，高效支撑毫秒级实时响应。为实时监控、智能推荐及物联网数据处理等场景，提供免运维、按需弹性、高可靠的底层实时算力支撑。

  • 适用场景
    • 适用于需要实时处理数据流的场景，例如实时监控系统、实时推荐系统。
    • 适合对实时数据进行快速分析和响应，例如金融交易监控、物联网设备数据处理。

更多信息请参考流处理引擎Flink。

计算资源

AI DataLake提供的计算资源分为预留资源池和弹性资源两种，满足不同业务场景的算力需求。

  • 预留资源池：用户提前购买实例资源，资源类型覆盖CPU、NPU、GPU三种类型的算力，您可根据业务负载特点选择合适的计算资源组合。

    预留资源池为核心业务提供独占资源保障，性能稳定可预测，适用于长期稳定运行的批处理任务、AI计算场景。

  • 弹性资源：无需提前购买，按实际使用量计费，自动响应业务需求。

    如果在配置端点时您选择的资源模式是“混合模式”，那么系统将为您开通弹性资源，在预留资源不足时自动调度弹性资源补充资源。

    混合资源调配既保障了业务平稳运行，又兼顾了资源的成本优化。

关于计算资源的计费说明请参考AI DataLake计费说明。

图2 AI DataLake计算资源类型与混合资源调配
表1 AI DataLake计算资源与计费模式

资源类型

计费模式

说明

资源特点

适用场景

预留资源池

按需计费

用户需提前购买预留实例，实例创建后按照实际运行时长计费（秒级计费，按小时结算）。资源归用户独享，可随时启用或释放。

资源独享，灵活启停，秒级计费，但是需要用户自行管理实例生命周期。

有一定稳定需求，可提前规划资源的场景。例如需要独享资源池的开发环境。

弹性资源

按需计费

无需用户提前购买资源，使用服务预置的弹性资源。按照实际运行时长计费（秒级计费，按小时结算），资源随作业动态创建和释放。

无需提前购买，属于云服务预置的公共资源池；按需使用，秒级计费。

作业结束后资源随即释放，无需主动管理资源的生命周期。

一般适用需求波动大，无法预测的场景。例如业务探索期，需求不明确，一次性的短期业务。

预留资源池和弹性资源同时使用

混合调度计费模式

结合预留资源池和弹性资源的计费方式。预留资源保障核心业务的稳定运行，弹性资源应对突发负载，实现成本与性能的平衡。

兼顾稳定与弹性；成本与性能平衡；核心业务有保障，突发负载可应对。

适用于日常有稳定负载，偶有突发高峰的业务场景。

存储资源

AI DataLake提供的临时存储主要用于作业过程中的临时下盘、临时缓存等用途而提供的存储资源，包括持久化数据、中间结果或模型文件等。当计算任务需要访问或生成大量数据，且这些数据无法完全由计算节点本地存储或共享存储系统承载时，就需要增加计算资源组外的存储资源。

当计算任务涉及大规模数据、需要数据共享、长期存储、跨环境访问或希望实现存储与计算解耦时，就需要增加计算资源组外的存储资源。

配置存储资源有两种方法：

  • 方法1：未创建端点时，请先购买存储资源，然后在创建端点时选择已购买的SFS Turbo存储资源。
  • 方法2：已创建端点，购买存储资源，在存储资源的详情页面中绑定端点。

元数据管理

元数据是作业开发的基础，在执行作业前您需要根据业务场景定义数据库和表。

AI DataLake对接LakeFormation实现元数据的统一管理，无缝对接多种计算引擎及大数据云服务，便捷高效地构建数据湖相关业务。

基本概念

  • 数据目录：

    数据目录（Catalog）是元数据管理对象，它可以包含多个数据库。您可以在LakeFormation实例中创建并管理多个Catalog，用于不同的元数据隔离。

  • 数据库：

    数据库（Database）是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。数据库通常用于存储、检索和管理结构化数据，由多个数据表组成，这些数据表通过键和索引相互关联。

  • 表：

    表（Table）是数据库最重要的组成部分之一，它由行和列组成。每一行代表一个数据项，每一列代表数据的一个属性或特征。表用于组织和存储特定类型的数据，使得数据可以被有效地查询和分析。数据库是一个框架，表是其实质内容。一个数据库包含一个或者多个表。

  • 元数据：

    元数据（Metadata）是用来定义数据类型的数据。主要是描述数据自身信息，包含源、大小、格式或其它数据特征。数据库字段中，元数据用于诠释数据仓库的内容。创建表时，会定义元数据，由列名、类型、列描述三列组成。

数据目录与数据库和表的关系

如图3所示，

数据目录负责管理元数据，数据库负责分类，表负责描述具体数据集，OBS负责存储数据，而LakeFormation负责数据统一权限控制和治理。

  • 数据目录记录数据存放在哪里、表结构是什么、数据格式如何以及谁有权限访问这些数据。
  • 数据库是数据目录中的逻辑分类单位，用来把一组相关的表组织在一起。
  • 表则是对具体数据集的定义，描述了底层数据在OBS桶中的位置、字段、分区和格式等信息。
图3 数据目录与数据库和表的关系

端点

端点是指计算引擎的访问地址，在大数据开发场景，通过使用端点来连接计算引擎并提交作业。

什么是端点

在AI DataLake服务中，端点是用户与AI DataLake引擎和计算资源交互的入口，其本质是“计算引擎”与“计算资源”的绑定，使得提交的作业可以访问AI DataLake的引擎并使用AI DataLake的计算资源。

端点的优势：

  • 自动绑定引擎和计算资源池：创建端点时，AI DataLake自动将引擎和计算资源池绑定，在后续提交作业时无需再手动配置作业与引擎和资源的映射关系。
  • 灵活配置分配给端点的计算资源：您可以在创建端点时根据业务需求配置所需的资源池的计算规格，即资源池分配对当前端点的保障配额（min）、最大配额（max）。

图4介绍了AI DataLake端点的基本原理：

  • 作业层只需对接端点，无需关心底层引擎/资源细节。
  • 每个端点自动绑定对应的计算引擎（Aura、Ray、Spark、Flink）和计算资源（CPU、GPU、NPU）。
  • 端点可以灵活配置计算资源规格，作业无感知，无需重新配置/启动作业。
    图4 AI DataLake端点原理图

端点引擎类型和端点类型

端点类型分为端点引擎类型和端点类型，两者互相结合，满足不同业务场景的需求。

  • 端点引擎类型是指端点绑定的计算引擎，决定了数据处理的计算方式和能力。
  • 端点类型是指端点的使用模式，决定了连接方式、计费模式和适用场景。各引擎支持的端点类型请参考表2。
    表2 端点类型

    引擎类型

    端点类型

    说明

    Aura

    AuraJob

    AuraJob端点用于提交和管理批量作业，适用于定时任务和大规模数据处理场景。

    支持批量提交作业、作业调度与编排（在DataArts Studio空间完成）、任务状态监控，适合大规模数据处理。常应用于ETL数据抽取转换加载、定时批处理任务、大规模数据清洗等定时任务和大规模数据处理场景。

    Ray

    RayCluster

    RayCluster端点提供长期运行、可复用的“计算资源池”，可多次提交Ray作业，适用于需要反复交互、多任务共享常驻环境的场景。

    RayCluster类型端点会一直保持运行状态，资源持续占用，但提交任务延迟低，响应快。

    适合需要长期运行、频繁提交任务的场景，例如持续服务、在线推理或需要快速响应的批处理任务。

    Spark

    SparkSQL

    适用于数据查询和分析的Spark SQL场景，通过编写SQL语句快速完成数据的筛选、聚合、计算等操作，满足数据分析师需要快速探索数据的业务需求。

    SparkJob

    适用于复杂数据处理的Spark Job场景，适合执行大规模数据转换、机器学习模型训练、ETL作业等复杂的数据处理任务。

作业开发

AI DataLake提供了多种作业开发方式，包括SQL编辑器（公测期暂未开放）、Notebook（公测期暂未开放）、DataArts Studio提交作业。

  • SQL编辑器（公测期暂未开放）：适用于SQL查询场景，执行结果可以在线预览，并支持下载至OBS。SQL编辑器适用于数据分析师日常查数据或简单的数据分析场景。
  • Notebook（公测期暂未开放）：基于JupyterLab，支持Python、SQL、Markdown混合编辑。适合需要交互的数据开发场景。
  • DataArts Studio数据开发：基于可视化的作业编排流程，适用于生产环境的批量作业、复杂ETL开发场景，是企业级数据治理与自动化流程的主要开发工具。

网络连接

计算资源池创建后只是具备计算能力的“孤岛”，只有通过网络连接才能做到与外部数据和服务的交互。因此给计算资源池配置网络是使用计算资源分析数据的基础要求。

如图5所示，网络是计算资源池与外部环境进行数据交换和通信的唯一通道。没有网络配置，计算资源池将无法发挥任何作用。

在读写外部数据源时，网络连通是访问数据源的必要条件。AI DataLake提供的网络连接功能，采用“对等连接”的方式建AI DataLake与数据源沟通的桥梁，且定义“系统路由”指引网络传输方向，确保数据连通。

了解更多网络连接的内容请参考计算资源池为什么需要配置网络。

图5 AI DataLake计算资源池类型

权限管理

如果您需要为企业中的员工设置不同的AI DataLake资源访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全地控制AI DataLake资源的访问。

更多权限管理的信息请参考权限管理。

日志管理

在大数据作业开发、调试和线上运维过程中，用户对日志的实时查看、检索和分析能力提出了更高的要求。为了提高日志管理的效率和用户体验，AI DataLake提供了将Job标准输出日志自动投递到云日志服务（Log Tank Service，简称LTS）的功能。只需在AI DataLake控制台配置弹性资源绑定LTS，系统将自动完成日志的实时采集、查询和分析，从而简化日志管理流程，提高问题定位和故障排查的效率，同时确保日志数据的安全隔离，满足多租户场景下的安全与合规要求。

更多日志管理操作请参考使用LTS管理AI DataLake作业日志。

云服务审计

AI DataLake对接了云审计服务（Cloud Trace Service，CTS），云审计服务是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。

云审计服务可记录的AI DataLake操作列表详见云审计服务支持的AI DataLake操作列表说明。用户开通云审计服务并创建和配置追踪器后，云审计服务开始记录操作事件用于审计。关于如何开通云审计服务以及如何查看追踪事件，请参考《云审计服务快速入门》中的相关章节。

云审计服务支持配置关键操作通知。用户可将与IAM相关的高危敏感操作，作为关键操作加入到云审计服务的实时监控列表中进行监控跟踪。当用户使用AI DataLake服务时，如果触发了监控列表中的关键操作，那么云审计服务会在记录操作日志的同时，向相关订阅者实时发送通知。

资源监控

在日常运维工作中，管理员需要实时掌握计算资源池的运行状态，了解CPU、内存、NPU、GPU等资源的实际使用情况。

AI DataLake提供的资源监控功能，通过可视化监控，管理员可以：

  • 直观了解资源池中各类资源的实时使用情况。
  • 判断是否需要进行资源池的扩缩容操作。
  • 优化资源管理，避免资源浪费或不足。
  • 保障业务稳定，及时发现资源瓶颈。

更多权限管理的信息请参考监控AI DataLake计算资源池。

相关文档