# 产品功能 #### 工作空间 使用AI DataLake进行数据分析场景，管理员首先需要考虑的就是项目隔离、权限隔离与管理、资源分配问题。AI DataLake的工作空间正是为解决这些问题而设计，从系统层面为管理者提供对使用AI DataLake的用户（成员）权限、资源、底层计算引擎配置的管理能力。它通过环境隔离、资源绑定的基本逻辑，为您提供一个独立的开发环境，并基于此环境创建计算资源、选择引擎、配置端点、开发作业，从而实现高效有序、安全隔离的数据开发。 您只有在加入工作空间并被分配权限后，才可具备AI DataLake的相关操作权限。 了解更多AI DataLake工作空间使用约束限制请参考[了解工作空间](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0037.html)。 在AI DataLake服务架构中工作空间是业务与权限的隔离单元，LakeFormation实例是元数据与权限的数据服务载体。 - 工作空间：是面向业务的逻辑空间，只有绑定一个LakeFormation实例才能使用元数据能力。 - LakeFormation实例提供元数据服务、权限管理的能力。 - 一个LakeFormation实例可被多个工作空间绑定，实现元数据共享与权限隔离。 在实际工作时： - 工作空间本身不存储元数据，所有元数据操作（建库、建表、授权）都转发给绑定的LakeFormation实例执行。 - LakeFormation实例不感知业务隔离，仅提供统一的元数据读写与权限校验。而LakeFormation管理的数据都存在OBS中，因此在创建LakeFormation实例时需要绑定OBS桶。 如[图 工作空间与LakeFormation实例的关系]所示，用户User A创建工作空间S1，并绑定LakeFormation实例L1。用户User B创建工作空间S2后，通过LakeFormation的权限授权配置，实现S2访问L1中创建的元数据与对应OBS数据，从而达成多工作空间共享同一元数据实例、按需权限隔离与互访的效果。 图1工作空间与LakeFormation实例的关系 ![](https://support.huaweicloud.com/productdesc-aidatalake/zh-cn_image_0000002571080177.png "点击放大") #### 计算引擎 AI DataLake提供了多种计算引擎，满足不同业务场景的需求，您可根据实际负载灵活选择。 表1计算引擎 | 计算引擎 | 功能特点 | 适用场景 | |:---|:---|:---| | 多模数据引擎Aura | 多模数据引擎Aura是专为管理、处理、分析多模态数据类型（如文本、图像、音频、视频）而设计。以"One Flow，One Pool，One Data"的核心理念，为多模态数据处理提供了高效、灵活、低成本的解决方案。在智驾数据预处理等典型场景中，Aura通过异构资源统一调度、数据流转不落地、流水线并行优化等技术，显著提升了资源利用率和数据处理效率，降低了开发和运维成本，为AI应用提供了坚实的数据基础。 更多信息，请参考[多模数据引擎Aura](https://support.huaweicloud.com/productdesc-aidatalake/aidatalake_08_0007.html)。 | - 多模态数据处理场景 需要同时处理文本、图像、音频、视频、点云等多种数据类型的场景。例如智能驾驶领域的数据采集、预处理、特征提取等场景。 - 异构计算协同的大数据处理场景：需要处理海量数据的场景，例如通过调度CPU、GPU、NPU等多种计算资源协同工作的场景。 | | AI计算引擎Ray | AI计算引擎Ray是专为大规模AI工作负载设计的统一分布式计算引擎。Ray通过CPU、GPU、NPU异构计算调度为AI工作负载提供统一的计算底座，覆盖从数据加载到预处理的全流程。 更多信息，请参考[AI计算引擎Ray](https://support.huaweicloud.com/productdesc-aidatalake/aidatalake_08_0008.html)。 | - 大规模AI数据预处理。为训练模型进行海量数据的清洗、增强与特征工程。 - 端到端ML/RL流水线中的数据环节。在模型训练、超参调优的前端数据准备阶段，保障数据供给效率。 | | 批处理引擎Spark | 批处理引擎Spark具备海量异构数据的统一批处理、交互查询能力，深度兼容Apache Spark生态，高效支撑大规模离线ETL、实时计算及大模型数据预处理等复杂场景，为企业数据探索、智能决策及业务应用落地提供免运维、弹性、高可靠的底层大数据算力支撑。 更多信息请参考[批处理引擎Spark](https://support.huaweicloud.com/productdesc-aidatalake/aidatalake_08_0009.html)。 | - 适用于需要进行大规模数据批处理和复杂数据分析的场景。 - 适合对历史数据进行深度挖掘和分析，例如数据仓库中的数据查询和报表生成。 | | 流处理引擎Flink （公测期间暂未开放） | 流处理引擎Flink具备大规模实时数据流的统一接入、事件驱动处理与全生命周期状态管理能力，在原生生态基础上强化安全与计算特性，高效支撑毫秒级实时响应。为实时监控、智能推荐及物联网数据处理等场景，提供免运维、按需弹性、高可靠的底层实时算力支撑。 更多信息，请参考[流处理引擎Flink](https://support.huaweicloud.com/productdesc-aidatalake/aidatalake_08_0010.html)。 | - 适用于需要实时处理数据流的场景，例如实时监控系统、实时推荐系统。 - 适合对实时数据进行快速分析和响应，例如金融交易监控、物联网设备数据处理。 | #### 计算资源 AI DataLake提供的计算资源分为预留资源池和弹性资源两种类型，满足不同业务场景的算力需求。 - **预留资源池：** 用户提前购买实例资源，资源类型覆盖CPU、NPU、GPU三种类型的算力，您可根据业务负载特点选择合适的计算资源组合。 预留资源池为核心业务提供独占资源保障，性能稳定可预测，适用于长期稳定运行的批处理任务、AI计算场景。 - **弹性资源** ：无需提前购买，按实际使用量计费，自动响应业务需求。 如果在配置端点时您选择的资源模式是"混合模式"，那么系统将为您开通弹性资源，在预留资源不足时自动调度弹性资源补充资源。 **混合资源调配**既保障了业务平稳运行，又兼顾了资源的成本优化。 关于计算资源的计费说明请参考[AI DataLake计费说明](https://support.huaweicloud.com/price-aidatalake/aidatalake_12_0001.html)。 图2AI DataLake计算资源类型与混合资源调配 ![](https://support.huaweicloud.com/productdesc-aidatalake/zh-cn_image_0000002586427455.png "点击放大") 表2AI DataLake计算资源与计费模式 | 资源类型 | 计费模式 | 说明 | 资源特点 | 适用场景 | |:---|:---|:---|:---|:---| | 预留资源池 | 包年/包月 | 预付费模式，即先付费购买实例资源再使用，按照订单的购买周期进行结算。且资源在购买周期内归用户独享使用，购买的资源长期稳定。 | 购买周期越长，单位资源的成本越优。资源独享，长期稳定。 | 适用于计算需求量长期稳定的成熟业务。 | | 预留资源池 | 按需计费 | 用户需提前购买预留实例，实例创建后按照实际运行时长计费（秒级计费，按小时结算）。资源归用户独享，可随时启用或释放。 | 资源独享，灵活启停，秒级计费，但是需要用户自行管理实例生命周期。 | 有一定稳定需求，可提前规划资源的场景。例如需要独享资源池的开发环境。 | | 弹性资源 | 按需计费 | 无需用户提前购买资源，使用服务预置的弹性资源。按照实际运行时长计费（秒级计费，按小时结算），资源随作业动态创建和释放。 | 无需提前购买，属于云服务预置的公共资源池；按需使用，秒级计费。 作业结束后资源随即释放，无需主动管理资源的生命周期。 | 一般适用于需求波动大，无法预测的场景。例如业务探索期，需求不明确，一次性的短期业务。 | | 预留资源池和弹性资源同时使用 | 混合调度计费模式 | 结合预留资源池和弹性资源的计费方式。预留资源保障核心业务的稳定运行，弹性资源应对突发负载，实现成本与性能的平衡。 | 兼顾稳定与弹性；成本与性能平衡；核心业务有保障，突发负载可应对。 | 适用于日常有稳定负载，偶有突发高峰的业务场景。 | #### 存储资源 AI DataLake提供的临时存储主要用于作业过程中的临时下盘、临时缓存等，包括中间结果或模型文件等。当计算任务需要访问或生成大量数据，且这些数据无法完全由计算节点本地存储或共享存储系统承载时，就需要增加计算资源组外的存储资源。 当计算任务涉及大规模数据、需要数据共享、长期存储、跨环境访问或希望实现存储与计算解耦时，就需要增加计算资源组外的存储资源。 配置存储资源方法：未创建端点时，请先购买存储资源，然后在创建端点时选择已购买的SFS Turbo存储资源。 了解存储资源规格请参考[存储资源规格](https://support.huaweicloud.com/productdesc-aidatalake/aidatalake_08_0011.html#aidatalake_08_0011__section1996185013216)。 #### 元数据管理 元数据是作业开发的基础，在执行作业前您需要根据业务场景定义数据库和表。 AI DataLake对接LakeFormation实现元数据的统一管理，无缝对接多种计算引擎及大数据云服务，便捷高效地构建数据湖相关业务。 - **数据目录：** 数据目录（Catalog）是元数据管理对象，它可以包含多个数据库。您可以在LakeFormation实例中创建并管理多个Catalog，用于不同的元数据隔离。 - **数据库** ： 数据库（Database）是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。数据库通常用于存储、检索和管理结构化数据，由多个数据表组成，这些数据表通过键和索引相互关联。 - **表：** 表（Table）是数据库最重要的组成部分之一，它由行和列组成。每一行代表一个数据项，每一列代表数据的一个属性或特征。表用于组织和存储特定类型的数据，使得数据可以被有效地查询和分析。数据库是一个框架，表是其实质内容。一个数据库包含一个或者多个表。 - **元数据：** 元数据（Metadata）是用来定义数据类型的数据。主要是描述数据自身信息，包含源、大小、格式或其它数据特征。数据库字段中，元数据用于诠释数据仓库的内容。创建表时，会定义元数据，由列名、类型、列描述三部分组成。 #### 数据目录与数据库和表的关系 如[图3]所示， 数据目录负责管理元数据，数据库负责分类，表负责描述具体数据集，OBS负责存储数据，而LakeFormation负责数据统一权限控制和治理。 - 数据目录记录数据存放在哪里、表结构是什么、数据格式如何以及谁有权限访问这些数据。 - 数据库是数据目录中的逻辑分类单位，用来把一组相关的表组织在一起。 - 表则是对具体数据集的定义，描述了底层数据在OBS桶中的位置、字段、分区和格式等信息。 图3数据目录与数据库和表的关系 ![](https://support.huaweicloud.com/productdesc-aidatalake/zh-cn_image_0000002540120750.png "点击放大") #### 端点 端点是指计算引擎的访问地址，在大数据开发场景，通过使用端点来连接计算引擎并提交作业。 #### 什么是端点 在AI DataLake服务中，端点是用户与AI DataLake引擎和计算资源交互的入口，其本质是"计算引擎"与"计算资源"的绑定，使得提交的作业可以访问AI DataLake的引擎并使用AI DataLake的计算资源。 端点的优势： - 自动绑定引擎和计算资源池：创建端点时，AI DataLake自动将引擎和计算资源池绑定，在后续提交作业时无需再手动配置作业与引擎和资源的映射关系。 - 灵活配置分配给端点的计算资源：您可以在创建端点时根据业务需求配置所需的资源池的计算规格，即资源池分配给当前端点的**保障配额（Min）** 、**最大配额（Max）**。 [图4]介绍了AI DataLake端点的基本原理： - 作业层只需对接端点，无需关心底层引擎/资源细节。 - 每个端点自动绑定对应的计算引擎（Aura、Ray、Spark、Flink）和计算资源（CPU、GPU、NPU）。 - 端点可以灵活配置计算资源规格，作业无感知，无需重新配置/启动作业。 图4AI DataLake端点原理图 ![](https://support.huaweicloud.com/productdesc-aidatalake/zh-cn_image_0000002662973165.png "点击放大") #### 端点引擎类型和端点类型 端点分为端点引擎类型和端点类型，两者互相结合，满足不同业务场景的需求。 - 端点引擎类型是指端点绑定的计算引擎，决定了数据处理的计算方式和能力。 - 端点类型是指端点的使用模式，决定了连接方式、计费模式和适用场景。各引擎支持的端点类型请参考[表3]。 表3端点类型 | 引擎类型 | 端点类型 | 说明 | |:---|:---|:---| | Aura | AuraJob | 自定义镜像算子，智算、通算混合资源池统一调度，支持Job级弹性。 | | Aura | AuraJobV2 | 细粒度Actor级算子编排调度，数据处理Pipeline执行，性能和效率极大提升。 | | Ray | RayCluster | RayCluster端点提供长期运行、可复用的"计算资源池"，可多次提交Ray作业，适用于需要反复交互、多任务共享常驻环境的场景。 RayCluster类型端点会一直保持运行状态，资源持续占用，同时提交任务延迟低，响应快。 适合需要长期运行、频繁提交任务的场景，例如持续服务、在线推理或需要快速响应的批处理任务。 | | Ray | RayJob | RayJob端点提供按需启动、用完即销毁的"任务执行单元"，任务完成后自动释放资源，节省资源成本，但每次提交任务需要启动集群，存在一定的启动延迟。适用于一次性运行、自动清理资源的场景。 | | Spark | SparkSQL | 适用于数据查询和分析的Spark SQL场景，通过编写SQL语句快速完成数据的筛选、聚合、计算等操作，满足数据分析师需要快速探索数据的业务需求。 | | Spark | SparkJob | 适用于复杂数据处理的Spark Job场景，适合执行大规模数据转换、机器学习模型训练、ETL作业等复杂的数据处理任务。 | #### 作业开发 AI DataLake提供了多种作业开发方式，包括SQL编辑器（公测期暂未开放）、Notebook（公测期暂未开放）、DataArts Studio提交作业。 - **SQL编辑器（公测期暂未开放）：**适用于SQL查询场景，执行结果可以在线预览，并支持下载至OBS。SQL编辑器适用于数据分析师日常查数据或简单的数据分析场景。 - **Notebook（公测期暂未开放）：**基于JupyterLab，支持Python、SQL、Markdown混合编辑。适合需要交互的数据开发场景。 - **DataArts Studio数据开发：**基于可视化的作业编排流程，适用于生产环境的批量作业、复杂ETL开发场景，是企业级数据治理与自动化流程的主要开发工具。 #### 网络连接 计算资源池创建后只是具备计算能力的"孤岛"，只有通过网络连接才能做到与外部数据和服务的交互。因此给计算资源池配置网络是使用计算资源分析数据的基础要求。 如[图5]所示，网络是计算资源池与外部环境进行数据交换和通信的唯一通道。没有网络配置，计算资源池将无法发挥任何作用。 在读写外部数据源时，网络连通是访问数据源的必要条件。AI DataLake提供的网络连接功能，采用"对等连接"的方式建立AI DataLake与数据源沟通的桥梁，且定义"系统路由"指引网络传输方向，确保数据连通。 了解更多网络连接的内容请参考[计算资源池为什么需要配置网络](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0026.html)。 图5AI DataLake计算资源池网络连接 ![](https://support.huaweicloud.com/productdesc-aidatalake/zh-cn_image_0000002540480934.png "点击放大") #### 权限管理 如果您需要为企业中的员工设置不同的AI DataLake资源访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全地控制AI DataLake资源的访问。 更多权限管理的信息请参考[权限管理](https://support.huaweicloud.com/productdesc-aidatalake/aidatalake_08_0026.html)。 #### 日志管理 在大数据作业开发、调试和线上运维过程中，用户对日志的实时查看、检索和分析能力提出了更高的要求。为了提高日志管理的效率和用户体验，AI DataLake提供了将Job标准输出日志自动投递到云日志服务（Log Tank Service，简称LTS）的功能。只需在AI DataLake控制台配置弹性资源绑定LTS，系统将自动完成日志的实时采集、查询和分析，从而简化日志管理流程，提高问题定位和故障排查的效率，同时确保日志数据的安全隔离，满足多租户场景下的安全与合规要求。 更多日志管理操作请参考[使用LTS管理AI DataLake作业日志](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0057.html)。 #### 云服务审计 AI DataLake对接了云审计服务（Cloud Trace Service，CTS），云审计服务是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 云审计服务可记录的AI DataLake操作列表详见[云审计服务支持的AI DataLake操作列表说明](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0058.html)。用户开通云审计服务并创建和配置追踪器后，云审计服务开始记录操作事件用于审计。关于如何开通云审计服务以及如何查看追踪事件，请参考《[云审计服务快速入门](https://support.huaweicloud.com/usermanual-cts/cts_02_0004.html)》中的相关章节。 云审计服务支持[配置关键操作通知](https://support.huaweicloud.com/usermanual-cts/cts_01_0009.html)。用户可将与IAM相关的高危敏感操作，作为关键操作加入到云审计服务的实时监控列表中进行监控跟踪。当用户使用AI DataLake服务时，如果触发了监控列表中的关键操作，那么云审计服务会在记录操作日志的同时，向相关订阅者实时发送通知。 #### 资源监控 在日常运维工作中，管理员需要实时掌握计算资源池的运行状态，了解CPU、内存、NPU、GPU等资源的实际使用情况。 AI DataLake提供的资源监控功能，通过可视化监控，管理员可以： - 直观了解资源池中各类资源的实时使用情况。 - 判断是否需要进行资源池的扩缩容操作。 - 优化资源管理，避免资源浪费或不足。 - 保障业务稳定，及时发现资源瓶颈。 更多资源监控的信息请参考[监控AI DataLake计算资源池](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0056.html)。 #### 自定义镜像 在企业级AI训练场景中，用户通常需要依赖特定的软件环境来构建和优化模型，AI DataLake新增镜像管理功能，支持客户通过统一界面注册、查询、修改和删除自定义镜像，并提供预置镜像的快速调用能力。用户可通过容器镜像服务（SWR）接入镜像资源，实现软件环境的标准化管理，同时平台通过预置镜像降低环境配置门槛，结合镜像生命周期管理能力，有效提升训练任务的部署效率并减少运维成本。 更多自定义镜像操作请参考[管理AI DataLake镜像](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0059.html)。 #### 标签管理 AI DataLake支持为工作空间、计算资源池和端点添加标签，助力资源分类与检索。同时已对接[标签管理服务 TMS](https://support.huaweicloud.com/tms/index.html)，支持通过TMS进行标签的统一管理及按标签查询资源列表与数量。 - 创建资源时，可选择TMS中已创建的预定义标签或自定义输入标签。 - 支持对资源标签进行修改和删除操作。其中，在TMS中修改标签仅支持修改标签值，不支持修改标签键；在AI DataLake中修改标签支持修改标签键和标签值。 - 支持按标签键值筛选资源列表，查询资源详情时自动展示关联的标签信息。 更多标签操作请参考[管理AI DataLake标签](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0096.html)。