datasource.css DLI 内部相关模块： sys.res.dli-v2 sys.res.dli sys.datasource.dli-inner-table 访问元数据 是 是否通过Spark作业访问元数据。具体请参考使用Spark作业访问DLI元数据。 表2 高级参数 参数

查看更多 →

资源包仅提供托管服务，不提供下载功能。 如何使用API通过公网访问DLI？ DLI 域名 公网访问请使用域名访问：dli.{regionid}.myhuaweicloud.com 数据湖探索 的终端节点请参考终端节点。 数据湖 探索API请参考：数据湖探索API。 DLI自定义的Spark3

查看更多 →

监控安全风险 云监控服务为用户的云上资源提供了立体化监控平台。通过云监控您可以全面了解云上的资源使用情况、业务的运行状况，并及时收到异常告警做出反应，保证业务顺畅运行。 DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务，提供基于云监控服务的资源监控能力，帮助

查看更多 →

情讲解可参考表1。 插入数据 1 sparkSession.sql("insert into opentsdb_new_test values('Penglai', 'abc', '2021-06-30 18:00:00', 30.0)"); 查询数据 1 sparkSession

查看更多 →

计费详情可参考《数据湖探索价格详情》。 如果在扣费时间段内没有执行过作业，则请继续排查是否是因为存储了大量数据而产生的计费。具体操作请参考数据存储。 数据存储 进入“数据管理”>“库表管理”页面。 查看所建的数据库中是否有存储在DLI中的数据： 单击所要查看的数据库名，进入对应的“表管理”页面；

查看更多 →

此身份无效。 图1 配置安全管理员 查看数据概况 在总览页，用户可以根据日期，根据不同数据源类型。例如查看 数据仓库 服务（DWS）、数据湖探索（DLI）或 MapReduce服务 （ MRS Hive）类型的下所包含的数据库中的敏感数据，包括敏感表总数、敏感字段总数、脱敏表数、嵌入水印表数、水印溯源数。

查看更多 →

租户管理员。 操作权限：具有所有云服务的管理和使用权限。创建后，可通过ACL赋权给其他子用户使用。 作用范围：项目级服务。 系统角色 DLI Service Administrator DLI服务管理员。 操作权限：具有数据湖探索服务队列、数据的管理和使用权限。创建后，可通过ACL赋权给其他子用户使用。

查看更多 →

一键部署时使用。 登录华为云官网控制台，单击 虚拟私有云VPC ，选择该方案资源需要部署的VPC，单击该VPC下的子网，选择子网网段与数据湖探索 DLI所在网段（172.16.0.0/16）不重合的任一子网或，获取网络ID。 图17 子网列表 图18 子网网络ID 父主题： 实施步骤

查看更多 →

信息”章节描述。 开启Kerberos认证时的相关配置文件 参考《从零开始使用Kerberos认证集群》中的“创建安全集群并登录其Manager”章节创建Kerberos认证集群。参考“创建角色和用户”章节添加用户并赋权。 参考《使用HBase客户端》使用1中创建的用户认证登录。“人机”用户第一次登录时需修改密码。

查看更多 →

将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

DLI控制台总览 数据探索服务控制台总览页为您提供数据湖探索服务使用流程及队列资源使用情况总览。 使用流程简介 数据湖探索服务使用流程简介： 创建队列 队列是DLI的计算资源：SQL队列和通用队列。SQL队列支持提交Spark SQL作业，通用队列支持Spark程序、Flink opensource

查看更多 →

将写好的代码生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

与其他云服务的关系 表1 RES与其他服务的关系 相关服务 交互功能 数据湖探索 数据湖探索（Data Lake Insight，简称DLI）用于推荐系统的离线计算和近线计算。DLI的更多信息请参见《数据湖探索用户指南》。 对象存储服务 对象存储服务（Object Storage

查看更多 →

有四种保存类型： ErrorIfExis：如果已经存在数据，则抛出异常。 Overwrite：如果已经存在数据，则覆盖原数据。 Append：如果已经存在数据，则追加保存。 Ignore：如果已经存在数据，则不做操作。这类似于SQL中的“如果不存在则创建表”。 读取RDS上的数据 1 2 3

查看更多 →

创建目的端DLI数据源的连接。 登录 CDM 控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在作业管理界面，选择“连接管理”，单击“新建连接”，连接器类型选择“数据湖探索（DLI）”，单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数据源连

查看更多 →

配置目的端DLI的数据源连接。 登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在作业管理界面，选择“连接管理”，单击“新建连接”，连接器类型选择“数据湖探索（DLI）”，单击“下一步”。 图5 创建DLI数据源连接 配置目的端DLI数据源连

查看更多 →

，无法购买DLI队列（假设当前权限仅包含DLI ReadOnlyAccess），表示“DLI ReadOnlyAccess”已生效。 在“服务列表”中选择除数据湖探索外（假设当前策略仅包含DLI ReadOnlyAccess）的任一服务，如果提示权限不足，表示“DLI ReadOnlyAccess”已生效。

查看更多 →

存储计费 DLI数据存储计费模式 存储资源是DLI服务内部的存储资源，用于存储数据库和DLI表。支持以下计费模式： 按需计费：按需计费是一种后付费模式，DLI支持使用按需计费模式购买数据存储。按照存储在DLI服务中的数据存储量（单位为“GB”）收取存储费用。计费方式自创建起按自然

查看更多 →

将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

实例（instance） 文档数据库服务（DDS） 实例名称（instanceName） 专属加密（DHSM） 硬件安全模块（hsm） 数据湖探索（DLI） 数据库（database） 增强型跨源连接（edsconnection） 弹性资源池（elasticresourcepool） 作业（jobs）

查看更多 →

负载均衡ELB、弹性云服务器E CS 、对象存储服务OBS、分布式消息服务Kafka、数据湖探索DLI和数据仓库服务DWS 调优表 调优表实践 在本实践中，您将学习如何优化表的设计。您首先不指定存储方式，分布键、分布方式和压缩方式创建表，然后为这些表加载测试数据并测试系统性能。接下来

查看更多 →