求。 数据湖探索 DLI ： 数据湖 探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务，支持数

查看更多 →

CARBON类型。 如果原始数据表存储格式不满足要求，您可以通过 CDM 将原始数据直接导入到DLI中进行分析，无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台，参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表，包括贸易统计数据库、贸易详单信息表和基础信息表。

查看更多 →

该解决方案会部署如下资源： 创建一台云数据库RDS for MySQ L实例 ，用于存储统计的订单指标数据，从而展示在数据可视化 DLV 大屏。 创建分布式消息服务 kafka专享版实例，并创建 Topic，用于电商平台写入业务数据，为用户提供便捷高效的消息队列。 创建数据湖探索DLI增强型跨源队列，通过

查看更多 →

elarts服务提供并收费。在使用推荐系统之前，您需要开通数据湖探索（Data Lake Insight，简称DLI）来创建集群。 DLI服务 登录华为云。在华为云“产品”页签，选择“大数据>数据湖探索DLI”，进入DLI产品页。单击“进入控制台”，授权开始使用DLI。 ModelArts服务

查看更多 →

Flink 1.12版本说明 数据湖探索（DLI）遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.12版本所做的变更说明。 更多Flink 1.12版本说明请参考Release Notes - Flink 1.12。 Flink 1.12版本发布时间 版本名称 发布时间

查看更多 →

型 > 数据湖探索DLI”。在消费汇总中可以发现DLI计算资源使用量消费最多。 图2 费用汇总 单击“账单详情 > 自定义账单”，单击“维度设置”，选择“按使用量”。“统计周期”选择“明细”。在显示数据的标题行，“产品类型”选择“数据湖探索 DLI”，“产品”选择“DLI计算资源使用量”，单击“导出账单”。

查看更多 →

Spark 3.1.1版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间

查看更多 →

toJobConfig.queue 是 String 写入数据的资源队列。 toJobConfig.database 是 String 写入数据到数据湖探索（DLI）的哪个数据库。 toJobConfig.table 是 String 写入数据的表名。 toJobConfig.columnList

查看更多 →

toJobConfig.queue 是 String 写入数据的资源队列。 toJobConfig.database 是 String 写入数据到数据湖探索（DLI）的哪个数据库。 toJobConfig.table 是 String 写入数据的表名。 toJobConfig.columnList

查看更多 →

重启云数据库 GaussDB 实例 - 分布式缓存服务 D CS 分布式缓存服务主备切换 重启分布式缓存服务实例 - 云搜索 服务 CSS 重启云搜索服务集群 - 数据湖探索 DLI 重启数据湖探索队列 force；stop_job 扩容数据湖探索队列 cu_count； 缩容数据湖探索队列

查看更多 →

提高您数据迁移和集成的效率。 数据湖探索 DLI：数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless

查看更多 →

兼容Ranger权限模型：提供兼容Ranger权限模型的接口，具备良好的生态扩展性。 建议搭配服务 MapReduce服务（ MRS ） 数据仓库服务 GaussDB（DWS） 数据湖探索（DLI） 支持情况请咨询对应服务。 父主题： 应用场景

查看更多 →

资源和成本规划 华为云服务 规格条件 费用 对象存储服务 OBS 用户月成本明细，采用OBS标准单AZ存储 1G。 0.14元/月 数据湖探索 DLI 使用弹性资源池，最低规格64CU，每天创建并使用2小时，用完即删。 25.6(元/小时)*2*30=1,536元/月 云数据库 RDS -

查看更多 →

页面，单击“创建自定义权限”。 为查看DLI Flink作业创建权限策略： 策略名称：可以使用默认名称，也可以自定义。 作用范围：选择“项目级服务”。 策略配置方式：选择“可视化视图”。 策略内容：依次选择“允许”，“数据湖探索”，“dli:jobs:list_all”。 单击“确认”，创建策略。

查看更多 →

准备源表和目的表。为了便于后续作业运行验证，需要先创建DLI源数据表和目的表，并给源数据表插入数据。 创建DLI表。您可以在 DataArts Studio 数据开发中，新建DLI SQL脚本执行以下SQL命令，也可以在数据湖探索（DLI）服务控制台中的SQL编辑器中执行以下SQL命令： /* 创建数据表 */ CREATE

查看更多 →

配置DLI云服务跨源场景委托权限。 实时数据集成与数据湖探索（DLI）云服务底层使用统一纳管集群资源，首次使用时需要通过DLI云服务创建跨源场景委托，用于底层计算资源访问和使用本租户VPC、子网、路由、对等连接等权限，详细请参见配置DLI云服务委托权限。 搜索并进入DLI云服务控制台。

查看更多 →

ation）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接MapReduce服务（MRS）、数据仓库服务 GaussDB（DWS）、数据湖探索（DLI）、 AI开发平台 ModelArts、 数据治理中心

查看更多 →

准备源表和目的表。为了便于后续作业运行验证，需要先创建DLI源数据表和目的表，并给源数据表插入数据。 创建DLI表。您可以在DataArts Studio数据开发中，新建DLI SQL脚本执行以下SQL命令，也可以在数据湖探索（DLI）服务控制台中的SQL编辑器中执行以下SQL命令： /* 创建数据表 */ CREATE

查看更多 →

Spark 2.4.5版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 2.4.5版本所做的变更说明。 更多Spark 2.4.5版本说明请参考Spark Release Notes。 Spark 2.4.5版本发布时间 版本名称 发布时间

查看更多 →

元数据增量感知 识别出上一次迁移后，在源端数据库中发生变化的元数据，并同步至目的端华为云数据湖探索（DLI）。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前，请联系技术支持人员，将您添加到spark

查看更多 →

已创建虚拟私有云和子网，参见创建虚拟私有云和子网。 已获取华为账号的AK和SK，参见访问密钥。 步骤一：准备DLI源端数据 创建DLI弹性资源池及队列。 登录华为云控制台，服务列表选择“大数据 > 数据湖探索DLI”，进入DLI管理控制台。 左侧导航栏选择“资源管理 > 弹性资源池”，进入弹性资源池管理页面。

查看更多 →