资源主体：即华为云 数据湖 中的库表字段及计算引擎队列资源。库表字段支持大数据 MRS Hive/Spark，云 数据仓库 DWS， 数据湖探索 DLI等数据湖，计算引擎队列包含大数据MRS YARN计算队列和数据湖探索计算队列。 全链路数据安全： DataArts Studio 数据治理全链路包含数据集成、数据管理（架

查看更多 →

删除APP 查询Checkpoint 变更分区数量 2018-06-12 第五次正式发布。 修改了如下内容： 开通DIS服务 DIS服务端错误码 2018-05-11 第四次正式发布。 修改了如下内容： 开通DIS通道 DIS服务端错误码 Uquery更名为数据湖探索（ DLI ，Data

查看更多 →

选择连接器类型 连接器类型选择“数据湖探索（DLI）”后单击“下一步”，配置DLI连接参数，如图2所示。 名称：用户自定义连接名称，例如“dlilink”。 访问标识（AK）、密钥（SK）：访问DLI数据库的AK、SK。 项目ID：DLI所属区域的项目ID。 图2 创建DLI连接 单击“保存”回到连接管理界面。

查看更多 →

DLI 操作场景 基于数据湖探索（Data Lake Insight，简称DLI）服务的数据集。 前提条件 连接的数据源已创建，如何创建请参见DLI数据源。 在DLI构建数据 登录DLI服务控制台。 参考创建并提交Spark SQL作业中操作，创建队列、数据库和表。 例如，创建了

查看更多 →

Trino（原PrestoSQL）是提供交互式查询分析能力的开源分布式SQL查询引擎，具备高性能、低延迟的查询处理能力，支持在大规模数据存储中进行数据查询和分析。 DLI服务架构：Serverless DLI是无服务器化的大数据查询分析服务，其优势在于： 按量计费：真正的按使用量（扫

查看更多 →

批量作业 application 应用模板 appVersion 应用模板版本 IEFInstance IEF实例 cluster 集群 数据湖探索（DLI） queue 队列 database 数据库 table 表 column 列 datasourceauth 安全认证信息 jobs

查看更多 →

CDM 在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索（DLI） 支持分区表的分区信息分片。 不支持非分区表分片。

查看更多 →

查看监控指标 06 开发 您可以使用客户端或第三方BI工具对接DLI，以及通过DLI跨源连接进行数据分析。 客户端工具操作指导 使用Spark-submit提交作业 使用UDF操作指导 第三方BI工具对接DLI 永洪BI对接DLI 跨源数据分析操作指导 概述 对接HBase 对接OpenTSDB

查看更多 →

Kafka数据源连接 单击“保存”完成MRS Kafka数据源配置。 配置目的端DLI的数据源连接。 登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在作业管理界面，选择“连接管理”，单击“新建连接”，连接器类型选择“数据湖探索（DLI）”，单击“下一步”。

查看更多 →

在作业管理界面，选择“连接管理”，单击“新建连接”，连接器类型选择“数据湖探索（DLI）”，单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数据源连接。具体参数配置可以参考在CDM上配置DLI连接。 图4 创建DLI数据源连接 配置完成后，单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登

查看更多 →

CDM在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索（DLI） 支持分区表的分区信息分片。 不支持非分区表分片。

查看更多 →

登录Kafka控制台，单击“消息查询”可以查看消息信息。 图24 消息列表 数据湖探索 DLI使用指南 在控制台单击“服务列表”，选择“数据湖探索 DLI”，单击进入DLI服务页面。更多介绍请参考DLI介绍。 单击DLI控制台左侧“作业管理 > Flink作业 > 创建作业”。 图25 创建作业

查看更多 →

DLI 操作场景 基于数据湖探索（Data Lake Insight，简称DLI）服务的数据集。 前提条件 连接的数据源已创建，如何创建请参见DLI数据源。 在DLI构建数据 登录DLI服务控制台。 参考创建并提交Spark SQL作业中操作，创建队列、数据库和表。 例如，创建了

查看更多 →

计费概述 数据湖探索DLI的计费由不同的计费项组成，不同的计费项有不同的计费模式，如图1所示。 图1 DLI的计费组成 计费项 DLI的计费项包括计算计费、存储计费、扫描量计费。DLI的计费详情请参见产品价格详情。您可以通过DLI提供的价格计算器，快速计算出购买资源的参考价格。 表1

查看更多 →

OBS、分布式消息服务 Kafka、数据湖探索 DLI和数据仓库服务 GaussDB (DWS)，基本流程如下： 准备工作 步骤一：创建Kafka实例 步骤二：创建绑定ELB的DWS集群和目标表 步骤三：创建DLI队列 步骤四：创建Kafka和DWS的增强型跨源连接 步骤五：准备DWS对接

查看更多 →

OBS、分布式消息服务 Kafka、数据湖探索 DLI和数据仓库服务 GaussDB(DWS)，基本流程如下： 准备工作 步骤一：创建Kafka实例 步骤二：创建绑定ELB的DWS集群和目标表 步骤三：创建DLI队列 步骤四：创建Kafka和DWS的增强型跨源连接 步骤五：准备DWS对接

查看更多 →

auth.user”以及“es.net.http.auth.pass”为创建集群时设置的账号和密码。 插入数据 1 sparkSession.sql("insert into css_table values(18, 'John'),(28, 'Bob')"); 查询数据 1 sparkSession

查看更多 →

DSC提供了四种资产模块： OBS： 对象存储服务 。 数据库：DSC支持的数据库类型及版本请参见使用约束。 大数据：授权访问 云搜索服务 （ CSS ）、数据湖探索（DLI）的资产、Hive的资产和HBase的资产。 MRS： MapReduce服务 （MapReduce Service，简称MRS）。 资产地图：授权访问云上资产。

查看更多 →

资源包仅提供托管服务，不提供下载功能。 如何使用API通过公网访问DLI？ DLI 域名 公网访问请使用域名访问：dli.{regionid}.myhuaweicloud.com 数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考：数据湖探索API。 DLI自定义的Spark3

查看更多 →

DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。

查看更多 →

。 选择SQL语句时： DLI数据目录如果选择DLI默认的数据目录dli，表示为DLI的数据库和数据表。 DLI数据目录如果选择DLI所绑定的LakeFormation已创建元数据catalog，表示为LakeFormation的数据库和数据表。 DLI环境变量 否 环境变量配置项需要以"dli

查看更多 →