据连接。 主机连接当前仅支持Linux系统主机。 当所连接的 数据湖 发生变化（如 MRS 集群扩容等情况）时，您需要重新编辑并保存该连接。 数据连接中的数据湖认证信息如果发生变化（如密码过期）时，此连接会失效。建议您将数据湖认证信息设定为永久有效，避免由于连接失败导致业务受损。 当前DataArts

查看更多 →

将写好的代码文件生成jar包，上传至 DLI 中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

独立，使用场景各有不同。 管理中心的数据连接用于对接数据湖底座， DataArts Studio 基于数据湖底座，提供一站式数据开发、治理和服务等能力。 数据集成的数据连接仅限于在数据集成中使用，用于将源端原始数据集成到目的端数据湖底座中。 父主题： 管理中心

查看更多 →

Iceberg是一种开放的数据湖表格式，可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段，若需使用需联系技术支持申请白名单开通。 当前版本Iceberg仅支持Spark引擎，如需使用其他引擎构建数据湖服务，请使用Hudi。 图1

查看更多 →

管理中心典型场景教程 新建DataArts Studio与MRS Hive数据湖的连接 新建DataArts Studio与DWS数据湖的连接 新建DataArts Studio与MySQL数据库的连接 父主题： 管理中心

查看更多 →

LakeFormation适用哪些场景 LakeFormation适用于以下场景： 数据湖建设和持续运营：数据湖建设和持续运营，是指数据湖的初始化建设及后续日常的海量元数据及权限管理，因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据：多计算引擎共享元数据，是指客户的多

查看更多 →

Formation，简称LakeFormation）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接 MapReduce服务 （MRS）、 数据仓库 服务 GaussDB （DWS）、数据湖探索（DLI）、 AI开发平台 ModelArts、 数据治理中心

查看更多 →

将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

易用的批量数据迁移服务。 CDM 围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效地提高您数据迁移和集成的效率。 数据湖探索 DLI：数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache

查看更多 →

分布式缓存服务主备切换 重启分布式缓存服务实例 - 云搜索服务 CSS 重启 云搜索 服务集群 - 数据湖探索 DLI 重启数据湖探索队列 force；stop_job 扩容数据湖探索队列 cu_count； 缩容数据湖探索队列 cu_count； 云数据库 GaussDB(for MySQL) 重启云数据库GaussDB(for

查看更多 →

如何使用API通过公网访问DLI？ DLI 域名 公网访问请使用域名访问：dli.{regionid}.myhuaweicloud.com 数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考：数据湖探索API。 DLI自定义的Spark3.1.1镜像，需要把第三方依赖jar放到哪个路径下呢？ DLI自定义的Spark3

查看更多 →

与其他云服务的关系 表1 RES与其他服务的关系 相关服务 交互功能 数据湖探索 数据湖探索（Data Lake Insight，简称DLI）用于推荐系统的离线计算和近线计算。DLI的更多信息请参见《数据湖探索文档》。 对象存储服务 对象存储服务（Object Storage S

查看更多 →

Kafka实时入库到GaussDB(DWS) 通过数据湖探索服务 DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS)数据仓库，实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见数据湖产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。

查看更多 →

如果使用了按需的弹性资源池下的队列执行作业，默认的计费模式是按CU时计费。 计费详情可参考《数据湖探索价格详情》。 如果使用的是default队列执行作业，则按照扫描量计费。 计费详情可参考《数据湖探索价格详情》。 如果在扣费时间段内没有执行过作业，则请继续排查是否是因为存储了大量数据而产生的计费。具体操作请参考数据存储。

查看更多 →

首次创建DLI的数据连接时，需要您同意访问DLI（数据湖探索）委托授权。授权成功后，再次创建DLI的数据连接时，将不再提示您委托授权。 填写完数据源信息后，单击“确定”即可完成DLI数据连接的添加。 使用数据湖探索（DLI）数据源 您可以参考使用数据仓库服务（DWS）数据源，配置使用数据湖探索（DLI）数据源。

查看更多 →

将写好的代码生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

Formation，简称LakeFormation）是企业级数据湖一站式构建服务，在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接MapReduce服务（MRS）、数据仓库服务 GaussDB（DWS）、数据湖探索（DLI）、AI开发平台ModelArts、 数据治理 中心

查看更多 →

Gateway，简称APIG）对外开放各组件的API接口。另外，数据服务共享版需要将生成的API发布到APIG。 数据湖探索服务 DataArts Studio支持将数据湖探索服务（Data Lake Insight，简称DLI）作为数据湖底座，进行数据集成、开发、治理与开放。 MapReduce服务 DataArts

查看更多 →

搜索：Elasticsearch，云搜索服务（ CS S） 不支持DWS物理机纳管模式。 数据湖探索（DLI） - MRS ClickHouse 数据仓库：MRS ClickHouse，数据湖探索（DLI） MRS ClickHouse建议使用的版本：21.3.4.X。 当前暂不支

查看更多 →

搜索：Elasticsearch，云搜索服务（CSS） 不支持DWS物理机纳管模式。 数据湖探索（DLI） - MRS ClickHouse 数据仓库：MRS ClickHouse，数据湖探索（DLI） MRS ClickHouse建议使用的版本：21.3.4.X。 当前暂不支

查看更多 →