产品功能
工作空间
使用AI DataLake进行数据分析场景，管理员首先需要考虑的就是项目隔离、权限隔离与管理、资源分配问题。AI DataLake的工作空间正是为解决这些问题而设计，从系统层面为管理者提供对使用AI DataLake的用户（成员）权限、资源、底层计算引擎配置的管理能力。它通过环境隔离、资源绑定的基本逻辑，为您提供一个独立的开发环境，并基于此环境创建计算资源、选择引擎、配置端点、开发作业，从而实现高效有序、安全隔离的数据开发。
您只有在加入工作空间并被分配权限后，才可具备AI DataLake的相关操作权限。
了解更多AI DataLake工作空间使用约束限制请参考了解工作空间。
在AI DataLake服务架构中工作空间是业务与权限的隔离单元，LakeFormation实例是元数据与权限的数据服务载体。
- 工作空间：是面向业务的逻辑空间，只有绑定一个LakeFormation实例才能使用元数据能力。
- LakeFormation实例提供元数据服务、权限管理的能力。
- 一个LakeFormation实例可被多个工作空间绑定，实现元数据共享+权限隔离。
在实际工作时：
- 工作空间本身不存储元数据，所有元数据操作（建库、建表、授权）都转发给绑定的LakeFormation实例执行。
- LakeFormation实例不感知业务隔离，仅提供统一的元数据读写与权限校验。而LakeFormation管理的数据都存在OBS中，因此在创建LakeFormation实例时需要绑定OBS桶。
如图 工作空间与LakeFormation实例的关系所示，用户User A创建工作空间S1，并绑定LakeFormation实例L1。用户User B创建工作空间S2后，通过LakeFormation的权限授权配置，实现S2访问L1中创建的元数据与对应OBS数据，从而达成多工作空间共享同一元数据实例、按需权限隔离与互访的效果。
计算引擎
AI DataLake提供了多种计算引擎，满足不同业务场景的需求，您可根据实际负载灵活选择。
| 计算引擎 | 功能特点 | 适用场景 |
|---|---|---|
| 多模数据引擎Aura | 多模数据引擎Aura是专为管理、处理、分析多模态数据类型（如文本、图像、音频、视频）而设计。以“One Flow，One Pool，One Data”的核心理念，为多模态数据处理提供了高效、灵活、低成本的解决方案。在智驾数据预处理等典型场景中，Aura通过异构资源统一调度、数据流转不落地、流水线并行优化等技术，显著提升了资源利用率和数据处理效率，降低了开发和运维成本，为AI应用提供了坚实的数据基础。 更多信息，请参考多模数据引擎Aura。 | |
| AI计算引擎Ray | AI计算引擎Ray是专为大规模AI工作负载设计的统一分布式计算引擎。Ray通过CPU、GPU、NPU异构计算调度为AI工作负载提供统一的计算底座，覆盖从数据加载到预处理的全流程。 更多信息，请参考AI计算引擎Ray。 |
|
| 批处理引擎Spark | 批处理引擎Spark具备海量异构数据的统一批处理、交互查询能力，深度兼容Apache Spark生态，高效支撑大规模离线ETL、实时计算及大模型数据预处理等复杂场景，为企业数据探索、智能决策及业务应用落地提供免运维、弹性、高可靠的底层大数据算力支撑。 更多信息请参考批处理引擎Spark。 |
|
| 流处理引擎Flink （公测期间暂未开放） | 流处理引擎Flink具备大规模实时数据流的统一接入、事件驱动处理与全生命周期状态管理能力，在原生生态基础上强化安全与计算特性，高效支撑毫秒级实时响应。为实时监控、智能推荐及物联网数据处理等场景，提供免运维、按需弹性、高可靠的底层实时算力支撑。 更多信息，请参考流处理引擎Flink。 |
|
计算资源
AI DataLake提供的计算资源分为预留资源池和弹性资源两种类型，满足不同业务场景的算力需求。
- 预留资源池：用户提前购买实例资源，资源类型覆盖CPU、NPU、GPU三种类型的算力，您可根据业务负载特点选择合适的计算资源组合。
预留资源池为核心业务提供独占资源保障，性能稳定可预测，适用于长期稳定运行的批处理任务、AI计算场景。
- 弹性资源：无需提前购买，按实际使用量计费，自动响应业务需求。
如果在配置端点时您选择的资源模式是“混合模式”，那么系统将为您开通弹性资源，在预留资源不足时自动调度弹性资源补充资源。
混合资源调配既保障了业务平稳运行，又兼顾了资源的成本优化。
关于计算资源的计费说明请参考AI DataLake计费说明。
| 资源类型 | 计费模式 | 说明 | 资源特点 | 适用场景 |
|---|---|---|---|---|
| 预留资源池 | 包年/包月 | 预付费模式，即先付费购买实例资源再使用，按照订单的购买周期进行结算。且资源在购买周期内归用户独享使用，购买的资源长期稳定。 | 购买周期越长，单位资源的成本越优。资源独享，长期稳定。 | 适用于计算需求量长期稳定的成熟业务。 |
| 按需计费 | 用户需提前购买预留实例，实例创建后按照实际运行时长计费（秒级计费，按小时结算）。资源归用户独享，可随时启用或释放。 | 资源独享，灵活启停，秒级计费，但是需要用户自行管理实例生命周期。 | 有一定稳定需求，可提前规划资源的场景。例如需要独享资源池的开发环境。 | |
| 弹性资源 | 按需计费 | 无需用户提前购买资源，使用服务预置的弹性资源。按照实际运行时长计费（秒级计费，按小时结算），资源随作业动态创建和释放。 | 无需提前购买，属于云服务预置的公共资源池；按需使用，秒级计费。 作业结束后资源随即释放，无需主动管理资源的生命周期。 | 一般适用于需求波动大，无法预测的场景。例如业务探索期，需求不明确，一次性的短期业务。 |
| 预留资源池和弹性资源同时使用 | 混合调度计费模式 | 结合预留资源池和弹性资源的计费方式。预留资源保障核心业务的稳定运行，弹性资源应对突发负载，实现成本与性能的平衡。 | 兼顾稳定与弹性；成本与性能平衡；核心业务有保障，突发负载可应对。 | 适用于日常有稳定负载，偶有突发高峰的业务场景。 |
存储资源
AI DataLake提供的临时存储主要用于作业过程中的临时下盘、临时缓存等用途而提供的存储资源，包括持久化数据、中间结果或模型文件等。当计算任务需要访问或生成大量数据，且这些数据无法完全由计算节点本地存储或共享存储系统承载时，就需要增加计算资源组外的存储资源。
当计算任务涉及大规模数据、需要数据共享、长期存储、跨环境访问或希望实现存储与计算解耦时，就需要增加计算资源组外的存储资源。
配置存储资源方法：未创建端点时，请先购买存储资源，然后在创建端点时选择已购买的SFS Turbo存储资源。
了解存储资源规格请参考存储资源规格。
元数据管理
元数据是作业开发的基础，在执行作业前您需要根据业务场景定义数据库和表。
AI DataLake对接LakeFormation实现元数据的统一管理，无缝对接多种计算引擎及大数据云服务，便捷高效地构建数据湖相关业务。
- 数据目录：
数据目录（Catalog）是元数据管理对象，它可以包含多个数据库。您可以在LakeFormation实例中创建并管理多个Catalog，用于不同的元数据隔离。
- 数据库：
数据库（Database）是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。数据库通常用于存储、检索和管理结构化数据，由多个数据表组成，这些数据表通过键和索引相互关联。
- 表：
表（Table）是数据库最重要的组成部分之一，它由行和列组成。每一行代表一个数据项，每一列代表数据的一个属性或特征。表用于组织和存储特定类型的数据，使得数据可以被有效地查询和分析。数据库是一个框架，表是其实质内容。一个数据库包含一个或者多个表。
- 元数据：
元数据（Metadata）是用来定义数据类型的数据。主要是描述数据自身信息，包含源、大小、格式或其它数据特征。数据库字段中，元数据用于诠释数据仓库的内容。创建表时，会定义元数据，由列名、类型、列描述三部分组成。
数据目录与数据库和表的关系
如图3所示，
数据目录负责管理元数据，数据库负责分类，表负责描述具体数据集，OBS负责存储数据，而LakeFormation负责数据统一权限控制和治理。
- 数据目录记录数据存放在哪里、表结构是什么、数据格式如何以及谁有权限访问这些数据。
- 数据库是数据目录中的逻辑分类单位，用来把一组相关的表组织在一起。
- 表则是对具体数据集的定义，描述了底层数据在OBS桶中的位置、字段、分区和格式等信息。
端点
端点是指计算引擎的访问地址，在大数据开发场景，通过使用端点来连接计算引擎并提交作业。
什么是端点
在AI DataLake服务中，端点是用户与AI DataLake引擎和计算资源交互的入口，其本质是“计算引擎”与“计算资源”的绑定，使得提交的作业可以访问AI DataLake的引擎并使用AI DataLake的计算资源。
端点的优势：
- 自动绑定引擎和计算资源池：创建端点时，AI DataLake自动将引擎和计算资源池绑定，在后续提交作业时无需再手动配置作业与引擎和资源的映射关系。
- 灵活配置分配给端点的计算资源：您可以在创建端点时根据业务需求配置所需的资源池的计算规格，即资源池分配对当前端点的保障配额（min）、最大配额（max）。
图4介绍了AI DataLake端点的基本原理：
- 作业层只需对接端点，无需关心底层引擎/资源细节。
- 每个端点自动绑定对应的计算引擎（Aura、Ray、Spark、Flink）和计算资源（CPU、GPU、NPU）。
- 端点可以灵活配置计算资源规格，作业无感知，无需重新配置/启动作业。
作业开发
AI DataLake提供了多种作业开发方式，包括SQL编辑器（公测期暂未开放）、Notebook（公测期暂未开放）、DataArts Studio提交作业。
- SQL编辑器（公测期暂未开放）：适用于SQL查询场景，执行结果可以在线预览，并支持下载至OBS。SQL编辑器适用于数据分析师日常查数据或简单的数据分析场景。
- Notebook（公测期暂未开放）：基于JupyterLab，支持Python、SQL、Markdown混合编辑。适合需要交互的数据开发场景。
- DataArts Studio数据开发：基于可视化的作业编排流程，适用于生产环境的批量作业、复杂ETL开发场景，是企业级数据治理与自动化流程的主要开发工具。
网络连接
计算资源池创建后只是具备计算能力的“孤岛”，只有通过网络连接才能做到与外部数据和服务的交互。因此给计算资源池配置网络是使用计算资源分析数据的基础要求。
如图5所示，网络是计算资源池与外部环境进行数据交换和通信的唯一通道。没有网络配置，计算资源池将无法发挥任何作用。
在读写外部数据源时，网络连通是访问数据源的必要条件。AI DataLake提供的网络连接功能，采用“对等连接”的方式建立AI DataLake与数据源沟通的桥梁，且定义“系统路由”指引网络传输方向，确保数据连通。
了解更多网络连接的内容请参考计算资源池为什么需要配置网络。
权限管理
如果您需要为企业中的员工设置不同的AI DataLake资源访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全地控制AI DataLake资源的访问。
更多权限管理的信息请参考权限管理。
日志管理
在大数据作业开发、调试和线上运维过程中，用户对日志的实时查看、检索和分析能力提出了更高的要求。为了提高日志管理的效率和用户体验，AI DataLake提供了将Job标准输出日志自动投递到云日志服务（Log Tank Service，简称LTS）的功能。只需在AI DataLake控制台配置弹性资源绑定LTS，系统将自动完成日志的实时采集、查询和分析，从而简化日志管理流程，提高问题定位和故障排查的效率，同时确保日志数据的安全隔离，满足多租户场景下的安全与合规要求。
更多日志管理操作请参考使用LTS管理AI DataLake作业日志。
云服务审计
AI DataLake对接了云审计服务（Cloud Trace Service，CTS），云审计服务是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
云审计服务可记录的AI DataLake操作列表详见云审计服务支持的AI DataLake操作列表说明。用户开通云审计服务并创建和配置追踪器后，云审计服务开始记录操作事件用于审计。关于如何开通云审计服务以及如何查看追踪事件，请参考《云审计服务快速入门》中的相关章节。
云审计服务支持配置关键操作通知。用户可将与IAM相关的高危敏感操作，作为关键操作加入到云审计服务的实时监控列表中进行监控跟踪。当用户使用AI DataLake服务时，如果触发了监控列表中的关键操作，那么云审计服务会在记录操作日志的同时，向相关订阅者实时发送通知。
资源监控
在日常运维工作中，管理员需要实时掌握计算资源池的运行状态，了解CPU、内存、NPU、GPU等资源的实际使用情况。
AI DataLake提供的资源监控功能，通过可视化监控，管理员可以：
- 直观了解资源池中各类资源的实时使用情况。
- 判断是否需要进行资源池的扩缩容操作。
- 优化资源管理，避免资源浪费或不足。
- 保障业务稳定，及时发现资源瓶颈。
更多资源监控的信息请参考监控AI DataLake计算资源池。
自定义镜像
在企业级AI训练场景中，用户通常需要依赖特定的软件环境来构建和优化模型，AI DataLake新增镜像管理功能，支持客户通过统一界面注册、查询、修改和删除自定义镜像，并提供预置镜像的快速调用能力。用户可通过容器镜像服务（SWR）接入镜像资源，实现软件环境的标准化管理，同时平台通过预置镜像降低环境配置门槛，结合镜像生命周期管理能力，有效提升训练任务的部署效率并减少运维成本。
更多自定义镜像操作请参考管理AI DataLake镜像。
