数据湖探索简介

DLI是基于Serverless架构的数据处理和分析服务

DLI是无服务器化的大数据查询分析服务，使用DLI服务您只需为实际使用的弹性计算资源付费，无需维护和管理云服务器。

• 计算资源按量计费：真正的按使用量（扫描量/CU时）计费，不运行作业时0费用。
• 自动扩缩容：根据业务负载，对计算资源进行预估和自动扩缩容。

DLI支持多种类型的计算引擎

完全兼容Apache Spark、Apache Flink、HetuEngine等生态，支持标准SQL、Spark SQL、Flink SQL，兼容CSV、JSON、Parquet和ORC主流数据格式。

• Spark是用于大规模数据处理的统一分析引擎，聚焦于查询计算分析。DLI在开源Spark基础上进行了大量的性能优化与服务化改造，不仅兼容Apache Spark生态和接口，性能较开源提升了2.5倍，在小时级即可实现EB级数据查询分析。
• Flink是一款分布式的计算引擎，可以用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时地处理一些实时数据流，实时地产生数据的结果。DLI在开源Flink基础上进行了特性增强和安全增强，提供了数据处理所必须的Stream SQL特性。
• HetuEngine是提供交互式查询分析能力的开源分布式SQL查询引擎，具备高性能、低延迟的查询处理能力，支持在大规模数据存储中进行数据查询和分析。了解更多HetuEngine请参考产品优势。

DLI支持多种连接方式

DLI提供了多种连接方式满足不同的用户需求和使用场景。

DLI支持的链接方式：

• 控制台方式
• API方式
• SDK方式
• 客户端工具
• 使用DataArts服务提交DLI作业
• 对接BI工具的可视化分析

更多DLI连接方式的介绍请参考DLI支持的开发工具。

DLI支持对接多种数据源的跨源分析

• Spark跨源连接：可通过DLI访问CloudTable，DWS，RDS和CSS等数据源。具体内容请参考《数据湖探索用户指南》。
• Flink跨源支持与多种云服务连通，形成丰富的流生态圈。数据湖探索的流生态分为云服务生态和开源生态：
  • 云服务生态：数据湖探索在Flink SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据。如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。
  • 开源生态：通过增强型跨源连接建立与其他VPC的网络连接后，用户可以在数据湖探索的租户授权的队列中访问所有Flink和Spark支持的数据源与输出源，如Kafka、Hbase、ElasticSearch等。

  具体内容请参见《数据湖探索开发指南》。

DLI支持的三大基本作业类型

• SQL作业支持SQL查询功能：可为用户提供标准的SQL语句。具体内容请参考《数据湖探索SQL语法参考》。
• Flink作业支持Flink SQL在线分析功能：支持Window、Join等聚合函数，用SQL表达业务逻辑，简便快捷实现业务。具体内容请参考Flink OpenSource SQL语法参考。
• Spark作业提供全托管式Spark计算特性：用户可通过交互式会话(session)和批处理(batch)方式提交计算任务，在全托管Spark队列上进行数据分析。具体内容请参考《数据湖探索API参考》。

DLI支持存算分离

用户将数据存储到OBS后，DLI可以直接和OBS对接进行数据分析。存算分离的架构下，使得存储资源和计算资源可以分开申请和计费，降低了成本并提高了资源利用率。

存算分离场景下，DLI支持OBS在创建桶时数据冗余策略选择单AZ或者多AZ存储，两种存储策略区别如下：

• 选择多AZ存储，数据将冗余存储至多个AZ中，可靠性更高。选择多AZ存储的桶，数据将存储在同一区域的多个不同AZ。当某个AZ不可用时，仍然能够从其他AZ正常访问数据，适用于对可靠性要求较高的数据存储场景。建议优选使用多AZ存储的策略。
• 选择单AZ存储，数据仅存储在单个AZ中，但相比多AZ更加便宜。收费详情请参见OBS产品价格详情。

DLI通过弹性资源池实现对资源的统一的管理和调度

弹性资源池后端采用CCE集群的架构，支持异构，对资源进行统一的管理和调度。

详细内容可以参考DLI用户指南的弹性资源池和队列简介。

生态工具

华为云数据湖探索（DLI）通过其强大的Serverless架构和多模引擎支持，能够满足不同行业的多样化需求，推动各行业的数字化转型和创新。

计算引擎

• Spark：支持大规模数据的批处理和交互式分析，提供高性能的分布式计算能力。
• Flink：支持实时流处理，能够处理大规模的实时数据流，支持事件时间处理和状态管理。
• HetuEngine：支持交互式数据分析，能够快速处理复杂的SQL查询，支持多种数据源的连接和查询。更多HetuEngine请参考产品优势。

统一资源管理

• 资源解耦：DLI采用存算分离架构，将计算资源和存储资源解耦，您可以根据实际需求灵活调整计算资源和存储资源的配比，提高资源利用率，降低成本。
• 弹性伸缩：DLI计算资源基于容器化Kubernetes，具有极致的弹性伸缩能力。能够根据作业需求自动调整资源配置，响应作业需求。
• 多租户支持：支持计算资源按租户隔离，确保不同租户之间的资源独立。每个租户可以独立管理自己的计算资源，实现资源的精细化管理，帮助企业实现部门间的数据共享和权限管理。
• 计算资源按量付费：您只需为实际使用的计算资源付费，无需预先购买和管理服务器，提高资源的使用效率。

统一元数据管理

• 多源元数据整合：DLI支持对多种数据源的元数据进行统一管理，包括云上数据源（如OBS、RDS、DWS、CSS等）和云下数据源（如自建数据库、Redis等）。您无需将数据搬迁到统一的数据湖中，即可实现对不同数据源的元数据的管理和分析。
• 元数据同步：DLI提供的元数据管理功能确保元数据的实时性和一致性。
• 元数据查询与管理：DLI提供标准SQL接口，用户可以使用SQL语句查询和管理元数据。支持对元数据的增删改查操作，方便用户进行数据治理和分析。
• 数据安全与权限管理：支持数据目录、数据库和表的权限管理。用户可以对不同租户和用户组设置不同的权限，确保数据的安全性和合规性。

存储服务

使用OBS、数据库存储用于数据分析的结构化或非结构化数据，提供数据的持久化存储服务。

数据源连接

• 支持对接云上数据源，例如OBS：对象存储服务，用于存储和管理非结构化数据。RDS关系型数据库服务，用于存储和管理结构化数据。DWS数据仓库服务，用于高效的数据查询和分析。
• 支持对接云下数据源，例如自建数据库场景，如MySQL、PostgreSQL、HDFS数据。

数据应用

支持对接业界主流BI工具、 灵活满足数据展示需求。