数据湖（Data Lake）是一个集中化的数据存储架构，以原始格式（如Parquet、ORC、CSV、JSON、日志、图片等）将企业内外部的结构化、半结构化和非结构化数据统一存储于低成本的对象存储或分布式文件系统中，供后续多种计算引擎按需消费和分析。

数据湖的核心理念是“先存后用”，不预先定义数据的用途和格式，而是在数据被消费时再根据业务需求定义Schema并加工处理。这种模式打破了传统数据仓库“先设计后加载”的约束，使企业能够以更低的成本、更灵活的方式沉淀全量数据资产。 

随着数字化转型的深入推进，企业面临的数据挑战日益复杂。传统数据仓库难以应对海量、多源、异构数据的存储和分析需求，数据孤岛问题严重，数据价值挖掘效率低下。

数据湖应运而生，它提供了灵活、可扩展的数据存储和分析能力，能够统一管理企业所有数据资产。通过数据湖，企业可以降低数据存储成本，提升数据分析效率，加速业务创新，实现数据驱动的智能决策。

数据湖已成为现代数据架构的核心组件，帮助企业构建统一的数据底座，支持多样化的分析场景，释放数据资产的潜在价值。

• 全格式数据统一存储

数据湖以对象存储为底座，可统一存储结构化数据（关系型数据库导出数据）、半结构化数据（JSON、XML、CSV日志）和非结构化数据（图片、音视频、文档），实现企业数据资产的全面沉淀，消除因格式差异导致的数据遗漏。

• 先存后用，极致灵活

数据入湖无需预先定义Schema，原始数据直接以文件形式存储。分析时再通过元数据定义（如创建外部表）为数据赋予结构，实现“写时自由、读时定义”的灵活模式。这种机制使得同一份数据可被不同业务场景以不同视角反复消费，最大化数据价值。

• 存算分离，弹性伸缩

数据湖采用存算分离架构，存储层（OBS）与计算层（DLI、MRS、DWS等）解耦。存储容量可独立弹性扩展，计算资源可按需弹性伸缩，避免存算耦合带来的资源浪费和扩展瓶颈。不同计算引擎可同时共享同一数据湖中的数据，实现“一湖多引擎”的协同分析。

• 多引擎协同分析

数据湖中的数据可被Spark、Flink、Hive等多种计算引擎同时访问，各引擎根据业务场景选择最优的分析模式，批处理用Spark、实时流用Flink，无需数据搬迁即可实现跨引擎联合分析。

• 原始数据支撑AI创新

数据湖保留了数据的原始形态，为机器学习特征工程、大模型训练数据准备、多模态数据分析等AI场景提供了丰富的原始数据供给。AI应用可直接访问湖中的原始数据做特征提取和模型训练，无需依赖数仓中经过高度加工的二次数据。

• 企业数据中台建设

企业拥有ERP、CRM等多种数据源，数据散落在不同系统中，缺乏统一的数据汇聚和供给能力，业务分析依赖各部门手工导数拼接。

构建企业级数据湖，通过数据集成工具将各业务系统的结构化和半结构化数据统一入湖至OBS，以LakeFormation统一管理元数据和权限，业务团队通过DLI自助式SQL查询和分析，实现数据的"入湖即服务"。

• 实时日志分析与运维监控

互联网应用每天产生TB级日志数据，需要实时采集、存储和分析，用于系统监控、用户行为分析和故障排查。

通过数据接入服务将应用日志实时流式入湖至OBS，利用Flink执行实时流计算和告警，同时使用Spark对历史日志进行离线挖掘和趋势分析，实现“流批一体”的日志分析架构。

• 数据科学与AI数据准备

数据科学团队需要从海量原始数据中提取特征进行模型训练，但传统数仓中的数据经过加工后损失了原始语义，且无法存储图片、文本等非结构化数据。

将原始数据直接入湖，保留完整的语义信息。通过Notebook+Spark直接读取湖中的原始数据进行特征工程和模型训练，图片和文本等非结构化数据也可在湖中统一管理和消费。

• 跨组织数据共享

集团内多个子公司和业务线需要共享数据，但各自建有独立的数据存储，数据共享依赖手工导出传输，效率低且安全风险高。

将各组织的共享数据统一入湖，通过LakeFormation的细粒度权限策略控制各组织对数据的访问范围，实现“数据集中存储、权限按需开放”的安全共享模式。

数据湖的概念最早在2010年提出，旨在解决传统数据仓库在处理海量多源异构数据时的局限性。随着大数据技术的快速发展，Hadoop、Spark等开源技术的普及为数据湖的实现提供了技术基础。

2015年前后，各大云厂商开始推出托管式数据湖服务，大大降低了企业构建和使用数据湖的门槛。这一时期，数据湖从概念走向实践，越来越多的企业开始构建自己的数据湖平台。

2017年以后，随着数据湖应用的深入，数据治理问题日益凸显，业界开始关注如何避免数据湖变成"数据沼泽"。元数据管理、数据血缘、数据质量等治理能力成为数据湖平台的核心功能。

2019年，湖仓一体Lakehouse概念兴起，旨在融合数据湖的灵活性和数据仓库的性能与管理能力，成为数据架构演进的新方向。2020年以来，数据湖已成为企业数据架构的核心组件，与人工智能、机器学习等技术深度融合，支持企业的数字化转型和智能化升级。

数据湖由多个关键组件协同工作，共同构建完整的数据湖平台。

在华为云的架构中，数据湖以对象存储服务 OBS为存储底座，以湖仓构建 LakeFormation为元数据和权限治理层，以智能数据湖 AI DataLake、数据湖探索 DLI、MapReduce服务 MRS、数据仓库服务 DWS等多元计算引擎为分析入口，共同构成云原生数据湖解决方案，帮助企业实现从数据入湖、数据治理到数据消费的全链路闭环。

• 数据存储层是数据湖的基础，采用对象存储技术，提供高可靠、高可用、低成本的存储能力。支持多种数据格式（如Parquet、ORC、Avro等）的存储。

• 数据治理层确保数据湖中的数据资产可信可用，提供元数据管理、数据安全等核心治理能力。元数据管理系统LakeFormation是数据治理的核心，提供统一的元数据目录和权限管理。

• 计算引擎层支持批处理、流处理、交互式查询和机器学习等多种计算引擎。用户可以根据业务需求选择合适的计算引擎，灵活处理不同类型的数据分析任务。

  表1 计算引擎相关服务

  计算引擎相关服务	核心定位	典型场景
  智能数据湖 AIDataLake	多模数据处理	湖仓分析、交互式分析、多模数据处理、数据加工、批量数据处理
  数据湖探索 DLI	Serverless SQL/Spark计算引擎	即席查询、交互式分析、轻量ETL
  MapReduce服务 MRS	全栈大数据集群	离线ETL、流批一体、复杂计算
  数据仓库服务 DWS	企业级云数仓	核心数仓、复杂报表、OLAP分析

  其中，智能数据湖 AI DataLake作为华为云企业级多模态智能数据分析平台，提供多模数据引擎Aura、AI计算引擎Ray、批处理引擎Spark和流处理引擎Flink四大核心计算引擎，聚焦多模数据处理、异构算力混合调度，开放湖仓处理，构建新一代多模湖仓架构，促进Data+AI协同创新。

• 数据服务层将数据湖中的数据转化为可用的数据服务，通过数据目录、数据API、BI报表等形式，为业务应用提供数据支持，实现数据价值的最终交付。

数据湖和数据仓库并非对立关系，而是正在走向融合。湖仓一体架构在数据湖的基础上引入了数据仓库的关键能力。

华为云智能数据湖 AI DataLake正是湖仓一体的落地实践：以OBS为统一存储底座，以LakeFormation为元数据与权限治理中枢，以Iceberg、Hudi、Paimon等开放表格式提供ACID事务能力，以多元计算引擎提供从即席查询到实时分析的全场景覆盖，实现“湖的灵活性 + 仓的企业级能力”。

• 智能数据湖（AI DataLake）

  智能数据湖 AI DataLake是华为云构建的企业级多模态智能数据分析与管理平台，提供多模数据引擎Aura、AI计算引擎Ray、批处理引擎Spark和流处理引擎Flink四大核心计算引擎，聚焦多模数据处理、异构算力混合调度和开放湖仓处理，构建新一代多模湖仓架构，促进Data+AI协同创新。AI DataLake采用数据、资源、引擎三层解耦架构，实现灵活高效的企业级数据管理。

  AI DataLake采用多模态数据处理和灵活的资源管理架构，显著提升了企业的数据处理效率和资源利用率。数据与引擎的解耦确保了数据的一致性和共享，避免了数据孤岛和冗余，提升了数据治理的效率。资源与引擎的解耦使得企业能够更灵活地管理计算资源，提高资源利用率，降低运营成本。资源与数据的解耦则支持了多种数据业务场景，从交互式分析到实时计算，再到AI计算，全面满足企业的多样化需求。

  相关文档及快速入门指引：

  • 官网文档：您可通过华为云帮助文档详细了解智能数据湖 AI DataLake的功能、部署与使用方法，帮助文档链接：华为云智能数据湖（AI DataLake）帮助文档。

  • 快速入门指引：您可以通过华为云控制台，进入AI DataLake服务页面，根据向导创建工作空间、创建计算资源池、选择计算引擎、配置端点及开发作业。同时，华为云提供完善的技术支持与运维服务，帮助您快速解决使用过程中的各类问题，助力业务快速落地。

• 数据湖探索 DLI

  数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark和Apache Flink生态的Serverless融合处理分析服务，提供一站式的流处理、批处理和交互式分析能力。用户无需管理任何服务器，即可实现即开即用的高效数据分析。

  通过使用DLI，企业能够显著提升数据处理和分析的效率与灵活性。完全兼容Apache Spark和Flink生态，使得用户可以无缝迁移现有工作负载，快速构建和扩展数据处理管道。Serverless架构消除了服务器管理的复杂性，降低了运维成本，使用户能够专注于核心业务逻辑。DLI的流处理、批处理和交互式分析能力，支持多种数据处理场景，从实时数据流处理到大规模批处理任务，再到交互式查询分析，全面满足企业的多样化需求。这些优势使得DLI成为企业构建现代数据湖分析平台的理想选择，助力企业在数据驱动的业务环境中取得竞争优势。

  相关文档及快速入门指引：

  • 官网文档：您可通过华为云帮助文档详细了解数据湖探索 DLI的功能、部署与使用方法，帮助文档链接：华为云数据湖探索 DLI帮助文档。

  • 快速入门指引：DLI服务的快速入门指引涵盖了配置队列网络连通、开发Spark SQL和Flink SQL作业、使用Flink和Spark Jar作业处理数据，以及通过CDM数据同步功能迁移多种数据源至DLI，帮助用户快速上手并高效使用DLI进行数据处理和分析。