了解 初步认识华为云 数据湖 探索，了解数据湖探索的基本功能、应用场景、基本概念和使用限制，有助于您更准确地匹配实际业务。 产品介绍 什么是 DLI 应用场景 使用限制 与其他云服务的关系 03 入门 购买DLI队列后，您可以运行SQL作业和Spark作业，开启您的数据湖探索使用之旅。 使用前须知

查看更多 →

Iceberg是一种开放的数据湖表格式，可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段，若需使用需联系技术支持申请白名单开通。 当前版本Iceberg仅支持Spark引擎，如需使用其他引擎构建数据湖服务，请使用Hudi。 图1

查看更多 →

单击“确定”完成程序包上传。 在报错的Spark作业编辑页面，“依赖python文件”处选择已上传的egg程序包，重新运行Spark作业。 pyspark作业对接MySQL，需要创建跨源链接，打通DLI和RDS之间的网络。 通过管理控制台创建跨源连接请参考《数据湖探索用户指南》。 通过API

查看更多 →

描述 访问级别 资源类型（*为必须） 条件键 dli::operateAuth 授予数据湖探索权限管理权限。 permission_management - - dli::listAuth 授予数据湖探索权限信息查询权限。 list - - dli:variable:list 授予全局变量列表查询权限。

查看更多 →

将写好的代码生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。 API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。

查看更多 →

忽略。如图1所示： 图1 添加依赖文件 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2（即将下线）或2.4.5提交

查看更多 →

Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务（即两个集群），且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致。 例如，当您的数据湖服务为 MRS 集群时，需要准备两套MRS

查看更多 →

apache.spark.sql.{Row, SparkSession} import org.apache.spark.rdd.RDD import org.apache.spark.sql.types._ 创建会话。 1 val sparkSession = SparkSession

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

数据湖建设和持续运营 场景描述 数据湖建设和持续运营，是指数据湖的初始化建设及后续日常的海量元数据及权限管理，因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎（Hive、Spark等）执行SQL实现元数据的定义、修改、查询，对用户有一定的技能要求，缺少提升易用性的可视化界面。

查看更多 →

foreach(println) 提交Spark作业 将写好的代码生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南

查看更多 →

如何在DLI中运行复杂PySpark程序？ 数据湖探索（DLI）服务对于PySpark是原生支持的。 对于数据分析来说Python是很自然的选择，而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序，通常会把程序打成Jar包并依赖其他一些第三方的Jar，同样的Py

查看更多 →

LakeFormation适用于以下场景： 数据湖建设和持续运营：数据湖建设和持续运营，是指数据湖的初始化建设及后续日常的海量元数据及权限管理，因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据：多计算引擎共享元数据，是指客户的多种计算引擎（Hive、Spark等）均使用统一的元数据，最

查看更多 →

show() 提交Spark作业 将写好的代码生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南

查看更多 →

DLI中的Spark组件与MRS中的Spark组件有什么区别？ DLI和MRS都支持Spark组件，但在服务模式、接口方式、应用场景和性能特性上存在一些差异。 DLI服务的Spark组件是全托管式服务，用户对Spark组件不感知，仅仅可以使用该服务，且接口为封装式接口。 DLI的

查看更多 →

Spark 3.1.1版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间

查看更多 →

0支持DLI Spark作业 DLI在开源Spark基础上进行了大量的性能优化与服务化改造，兼容Apache Spark生态和接口，执行批处理任务。 DLI还支持使用Spark作业访问DLI元数据，具体请参考《数据湖探索开发指南》。 发布区域：全部 使用DLI提交Spark Jar作业

查看更多 →

如图所示， DataArts Studio 基于数据湖底座，提供数据集成、开发、治理等能力。DataArts Studio支持对接数据湖与数据库云服务作为数据湖底座，例如MRS Hive、 数据仓库 服务DWS等，也支持对接企业传统数据仓库，例如Oracle、MySQL等。 DataArts Studio包含如下功能组件：

查看更多 →

计费详情可参考《数据湖探索价格详情》。 如果使用的是default队列执行作业，则按照扫描量计费。 计费详情可参考《数据湖探索价格详情》。 如果在扣费时间段内没有执行过作业，则请继续排查是否是因为存储了大量数据而产生的计费。具体操作请参考数据存储。 Spark作业 进入“作业管理”>“Spark作业”页面。

查看更多 →

创建队列 2019年8月 序号 功能名称 功能描述 阶段 相关文档 1 支持SparkUI查看作业详情 DLI支持通过SparkUI页面查看作业运行的情况。 商用 Class SparkUI 历史变更 关于数据湖探索DLI更多历史版本变更内容，请单击“查看PDF”详细了解。

查看更多 →