将写好的python代码文件上传至 DLI 中。 控制台操作请参考《 数据湖探索 用户指南》。API操作请参考《 数据湖 探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

，您需要开通数据湖探索（Data Lake Insight，简称DLI）来创建集群。 DLI服务 登录华为云。在华为云“EI企业智能”页签，选择“大数据>数据湖探索DLI”，进入DLI产品页。单击“进入控制台”，授权开始使用DLI。更多关于服务的操作请参见《数据湖探索用户指南》。

查看更多 →

pyspark作业对接MySQL，需要创建跨源链接，打通DLI和RDS之间的网络。 通过管理控制台创建跨源连接请参考《数据湖探索用户指南》。 通过API创建跨源连接请参考《数据湖探索API参考》。 父主题： 作业开发

查看更多 →

DLI跨源连接中配置 MRS 主机信息 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 开启Kerberos认证时的相关配置文件

查看更多 →

大数据 数据湖探索 DLI 数据治理中心 DataArts Studio 父主题： SCP授权参考

查看更多 →

将写好的代码生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

testhbase").show(); 提交Spark作业 将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果MRS集群开启了Kerberos认证，创建Spark作业时需要将krb5.conf和user

查看更多 →

的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询所有服务的终端节点。 数据湖探索的终端节点如下表所示，请您根据业务需要选择对应区域的终端节点。 表1 数据湖探索的终端节点 区 域名 称 区域 终端节点（Endpoint） 华北-北京四 cn-north-4 dli

查看更多 →

根据国家法律规定，所有用户必须完成实名认证后才能使用云服务。 如果您已完成实名认证，可跳过该步骤。具体操作可参见实名认证。 服务授权 登录华为云，进入数据湖探索管理控制台后，为保证正常使用数据湖探索功能，建议先进行委托权限设置。 第一次登录时进行设置后，后续无需重复设置。如果需要进行调整，可在“全局配置”>“服务授权”中进行修改。

查看更多 →

描述 类别 授权方式 DLI FullAccess 数据湖探索所有权限。 系统策略 具体的授权方式请参考创建IAM用户并授权使用DLI以及《如何创建子用户》和《如何修改用户策略》。 DLI ReadOnlyAccess 数据湖探索只读权限。 系统策略 Tenant Administrator

查看更多 →

找到“数据湖探索”服务。在Flink作业中找到目标作业，单击“创建告警规则”。 图6 云服务监控 图7 创建告警规则 DLI 为Flink作业提供了丰富的监控指标，用户可以依据自身需求使用不同的监控指标定义告警规则，实现更细粒度的作业监控。 监控指标说明请参考《数据湖探索用户指南》>《数据湖探索监控指标说明》。

查看更多 →

其他常用操作 导入数据至DLI表的方式 数据湖探索监控指标说明及查看指导 云审计 服务支持的DLI操作列表说明 配额管理

查看更多 →

数据架构支持逆向数据库吗？ 数据架构支持逆向数据库，目前支持基于 数据仓库 服务（DWS）、数据湖探索（DLI）、 MapReduce服务 （MRS Hive）的数据库逆向。 父主题： 数据架构

查看更多 →

了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效地提高您数据迁移和集成的效率。 数据湖探索 DLI：数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLoo

查看更多 →

够弹性伸缩至PB规模，具备可扩展的性能，为海量数据、高带宽型应用提供有力支持。 数据湖探索（DLI） 基因容器使用数据湖探索服务提供的Spark能力，对GATK、BWA等业务流程进行加速。数据湖探索（Data Lake Insight，简称DLI）是完全托管的数据分析服务，用户无

查看更多 →

Kafka实时入库到 GaussDB (DWS) 通过数据湖探索服务 DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS)数据仓库，实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见数据湖产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。

查看更多 →

为Flink作业提供了丰富的监控指标，用户可以依据自身需求使用不同的监控指标定义告警规则，实现更细粒度的作业监控。 监控指标说明请参考《数据湖探索用户指南》>《数据湖探索监控指标说明》。 父主题： Flink OpenSource SQL作业开发指南

查看更多 →

登录DLI控制台。 单击左侧“队列管理”，进入队列管理页面。 在队列管理页面，单击左上角“创建消息通知主题”进行配置。详细操作请参考《数据湖探索用户指南》。 父主题： 使用咨询

查看更多 →

方案概述 应用场景 此解决方案通过华为云 数据治理 中心 DataArts Studio、数据湖探索服务 DLI、 云数据迁移 CDM 、云数据库 RDS等服务的组合，可以快速构建一个轻量化离线数据分析平台，可一站式完成业务数据采集、分析，指标查询、做展示等工作，帮助企业实现业务数据洞察。

查看更多 →

。 解决方案 查看是否已包含DLI Flink运行平台中已经存在的包，如果存在，则需要将自己的Jar包删除。 DLI内置依赖包请参考《数据湖探索用户指南》。 父主题： Flink Jar作业相关问题

查看更多 →

在“服务列表”中选择数据湖探索，进入DLI主界面。如果在“队列管理”页面可以查看队列列表，但是单击右上角“购买队列”，无法购买DLI队列（假设当前权限仅包含DLI ReadOnlyAccess），表示“DLI ReadOnlyAccess”已生效。 在“服务列表”中选择除数据湖探索外（假设当前策略仅包含DLI

查看更多 →