计费概述 数据湖探索 DLI的计费由不同的计费项组成，不同的计费项有不同的计费模式，如图1所示。 图1 DLI 的计费组成 计费项 DLI的计费项包括计算计费、存储计费、扫描量计费。DLI的计费详情请参见DLI产品价格详情。您可以通过DLI提供的价格计算器，快速计算出购买资源的参考价格。

查看更多 →

OBS、分布式消息服务 Kafka、 数据湖 探索 DLI和数据仓库服务 GaussDB (DWS)，基本流程如下： 准备工作 步骤一：创建Kafka实例 步骤二：创建绑定ELB的DWS集群和目标表 步骤三：创建DLI队列 步骤四：创建Kafka和DWS的增强型跨源连接 步骤五：准备DWS对接

查看更多 →

OBS：授权访问 对象存储服务 。 数据库：授权访问数据库，DSC支持的数据库类型及版本请参见使用约束。 大数据：授权访问 云搜索服务 （ CSS ）、数据湖探索（DLI）的资产、Hive的资产和HBase的资产。 MRS ：授权访问 MapReduce服务 （MapReduce Service，简称MRS）。

查看更多 →

资源包仅提供托管服务，不提供下载功能。 如何使用API通过公网访问DLI？ DLI 域名 公网访问请使用域名访问：dli.{regionid}.myhuaweicloud.com 数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考：数据湖探索API。 DLI自定义的Spark3

查看更多 →

情讲解可参考表1。 插入数据 1 sparkSession.sql("insert into opentsdb_new_test values('Penglai', 'abc', '2021-06-30 18:00:00', 30.0)"); 查询数据 1 sparkSession

查看更多 →

计费详情可参考《数据湖探索价格详情》。 如果在扣费时间段内没有执行过作业，则请继续排查是否是因为存储了大量数据而产生的计费。具体操作请参考数据存储。 数据存储 进入“数据管理”>“库表管理”页面。 查看所建的数据库中是否有存储在DLI中的数据： 单击所要查看的数据库名，进入对应的“表管理”页面；

查看更多 →

auth.user”以及“es.net.http.auth.pass”为创建集群时设置的账号和密码。 插入数据 1 sparkSession.sql("insert into css_table values(18, 'John'),(28, 'Bob')"); 查询数据 1 sparkSession

查看更多 →

查看监控指标 06 开发 您可以使用客户端或第三方BI工具对接DLI，以及通过DLI跨源连接进行数据分析。 客户端工具操作指导 使用Spark-submit提交作业 使用UDF操作指导 第三方BI工具对接DLI 配置BI工具连接DLI 跨源数据分析操作指导 概述 对接HBase 对接OpenTSDB

查看更多 →

分布式数据库 中间件(newddm) DDMS DDM实例 √ √ √ √ √ 文档数据库服务 DDS 文档数据库实例 √ √ √ √ √ 数据湖探索 DLI 队列 √ × × × × 分布式消息服务 DMS Kafka专享版 √ √ √ √ √ RabbitMQ实例 √ √ √ √ √ RocketMQ专享版

查看更多 →

此身份无效。 图1 配置安全管理员 查看数据概况 在总览页，用户可以根据日期，根据不同数据源类型。例如查看 数据仓库 服务（DWS）、数据湖探索（DLI）或MapReduce服务（MRS Hive）类型的下所包含的数据库中的敏感数据，包括敏感表总数、敏感字段总数、脱敏表数、嵌入水印表数、水印溯源数。

查看更多 →

一键部署时使用。 登录华为云官网控制台，单击 虚拟私有云VPC ，选择该方案资源需要部署的VPC，单击该VPC下的子网，选择子网网段与数据湖探索 DLI所在网段（172.16.0.0/16）不重合的任一子网或，获取网络ID。 图17 子网列表 图18 子网网络ID 父主题： 实施步骤

查看更多 →

租户管理员。 操作权限：具有所有云服务的管理和使用权限。创建后，可通过ACL赋权给其他子用户使用。 作用范围：项目级服务。 系统角色 DLI Service Administrator DLI服务管理员。 操作权限：具有数据湖探索服务队列、数据的管理和使用权限。创建后，可通过ACL赋权给其他子用户使用。

查看更多 →

特定类型的数据，使得数据可以被有效地查询和分析。数据库是一个框架，表是其实质内容。一个数据库包含一个或者多个表。 · 元数据：元数据（Metadata）是用来定义数据类型的数据。主要是描述数据自身信息，包含源、大小、格式或其它数据特征。数据库字段中，元数据用于诠释数据仓库的内容。

查看更多 →

128个字符。 cxo_pool queue_name String 数据湖探索DLI队列名称，第一次使用DLI时需要登录DLI控制台，如果使用IAM子账户部署该解决方案，请参考部署指南确保该账号已经有DLI的相关授权。取值范围：以字母开头，长度为1-48个字符，仅支持字母、数字

查看更多 →

DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。

查看更多 →

有四种保存类型： ErrorIfExis：如果已经存在数据，则抛出异常。 Overwrite：如果已经存在数据，则覆盖原数据。 Append：如果已经存在数据，则追加保存。 Ignore：如果已经存在数据，则不做操作。这类似于SQL中的“如果不存在则创建表”。 读取RDS上的数据 1 2 3

查看更多 →

Flink作业将分布式消息服务Kafka的消费数据实时同步至DWS数据仓库，实现Kafka实时入库到DWS的过程。 本实践预计时长90分钟，实践用到的云服务包括虚拟私有云VPC及子网、弹性负载均衡ELB、弹性云服务器E CS 、对象存储服务OBS、分布式消息服务Kafka、数据湖探索DLI和数据仓库服务DWS

查看更多 →

将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

图解数据湖探索

查看更多 →

监控安全风险 云监控服务为用户的云上资源提供了立体化监控平台。通过云监控您可以全面了解云上的资源使用情况、业务的运行状况，并及时收到异常告警做出反应，保证业务顺畅运行。 DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务，提供基于云监控服务的资源监控能力，帮助

查看更多 →

workspace 工作空间 分布式缓存服务（DCS） instance 实例 文档数据库服务（DDS） instanceName 实例名称 数据湖探索（DLI） queue 队列 database 数据库 table 表 column 列 datasourceauth 安全认证信息 jobs

查看更多 →