数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    数据湖探索 更多内容
  • 权限管理

    Administrator 租户管理员。 操作权限:具有 数据湖探索 服务资源的所有执行权限。创建后,可通过ACL赋权给其他子用户使用。 作用范围:项目级服务。 系统角色 无 DLI Service Administrator 数据湖 探索管理员。 操作权限:具有数据湖探索服务资源的所有执行权限。创建后,可通过ACL赋权给其他子用户使用。

    来自:帮助中心

    查看更多 →

  • 企业项目支持的资源类型

    增强型负载均衡器控制台上的负载均衡器的ID DLI 数据湖探索数据库 dli-data-database 数据湖探索服务控制台上的数据库ID 数据湖探索集群 dli-cuh-cluster 数据湖探索服务控制台上的集群ID 数据湖探索队列 dli-cuh-queue 数据湖探索服务控制台上的队列ID CDM

    来自:帮助中心

    查看更多 →

  • Flink Jar 包冲突,导致提交失败

    。 解决方案 查看是否已包含DLI Flink运行平台中已经存在的包,如果存在,则需要将自己的Jar包删除。 DLI内置依赖包请参考《数据湖探索用户指南》。 父主题: Flink Jar作业相关问题

    来自:帮助中心

    查看更多 →

  • 使用DLI运行几万个作业,如何管理?

    将几万个作业根据不同的类型分组,不同类型的作业通过不同的队列运行。 或者创建IAM子用户,将不同类型的作业通过不同的用户执行。具体请参考《数据湖探索用户指南》。 父主题: 作业管理

    来自:帮助中心

    查看更多 →

  • 方案概述

    方案概述 应用场景 此解决方案通过华为云 数据治理中心 DataArts Studio 数据湖探索服务 DLI、 云数据迁移 CDM、云数据库 RDS等服务的组合,可以快速构建一个轻量化离线数据分析平台,可一站式完成业务数据采集、分析,指标查询、做展示等工作,帮助企业实现业务数据洞察。

    来自:帮助中心

    查看更多 →

  • 查看DLI队列负载

    查看队列负载。 操作步骤 在控制台搜索“ 云监控服务 CES”。 图1 搜索CES 进入CES后,在页面左侧“云服务监控”列表中,单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。 图3 查看队列负载 父主题: 运维指导

    来自:帮助中心

    查看更多 →

  • MRS HBase输出流

    需计费”,勾选“专属资源模式”即可。具体操作请参见《数据湖探索用户指南》中创建队列章节。 确保DLI独享队列与 MRS 集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,

    来自:帮助中心

    查看更多 →

  • scala样例代码

    load().show() 返回结果: 提交Spark作业 将写好的代码生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果MRS集群开启了Kerberos认证,创建Spark作业时需要将krb5.conf和user

    来自:帮助中心

    查看更多 →

  • 入门实践

    据处理实时性,有时需要在靠近数据产生的地方对其进行分析处理。智能边缘平台可以和数据湖探索服务(DLI)结合,通过在边缘节点上部署系统提供的流计算应用,将实时流计算能力从云端延伸到边缘。然后通过数据湖探索服务编辑流处理作业并下发到边缘执行,可以帮助您在边缘快速实现对流数据的实时、快速、准确地分析处理。

    来自:帮助中心

    查看更多 →

  • 存储计费

    表2 计费公式 资源类型 计费公式 资源单价 计算资源 计算费用=单价*CU数*小时数 请参见数据湖探索价格详情价格。 存储资源 存储费用=单价*存储数据量(GB)*小时数。 请参见数据湖探索价格详情价格。 表3 资源类型 资源类型 计费详情 合计 计算资源 0.4元/小时,实际CUs:64CUs,累计计费时长:2小时

    来自:帮助中心

    查看更多 →

  • 包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗?

    式更加优惠。 自建队列购买方式如下: 购买队列请参考创建队列。 弹性资源池购买方式如下: 具体弹性资源池的购买和添加队列操作可以参考《数据湖探索用户指南》中的“创建弹性资源池”和“弹性资源池添加队列”相关章节。 父主题: 计费相关问题

    来自:帮助中心

    查看更多 →

  • 如何将一个区域中的DLI表数据同步到另一个区域中?

    如何将一个区域中的DLI表数据同步到另一个区域中? 可以使用OBS跨区域复制功能实现,步骤如下: 将区域一中的DLI表数据导出到自定义的OBS桶中。 具体请参考《数据湖探索用户指南》。 通过OBS跨区域复制功能将数据复制至区域二的OBS桶中。 具体请参考跨区域复制。 根据需要导入或使用对应的数据。 父主题:

    来自:帮助中心

    查看更多 →

  • DLI中的Spark组件与MRS中的Spark组件有什么区别?

    什么区别? DLI服务的Spark组件是全托管式服务,用户对Spark组件不感知,仅仅可以使用该服务,且接口为封装式接口。具体请参考《数据湖探索用户指南》。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上,用户可以根据实际需求调整及优化Spark服务,支持各

    来自:帮助中心

    查看更多 →

  • pyspark样例代码

    生编码格式错误。 操作结果; 提交Spark作业 将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果MRS集群开启了Kerberos认证,创建Spark作业时需要将krb5.conf和user

    来自:帮助中心

    查看更多 →

  • 附录

    供海量、安全、高可靠、低成本的数据存储能力,使用时无需考虑容量限制,并且提供多种存储类型供选择,满足客户各类业务场景诉求。 数据湖探索 DLI:数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLoo

    来自:帮助中心

    查看更多 →

  • 如何在DLI中运行复杂PySpark程序?

    如何在DLI中运行复杂PySpark程序? 数据湖探索(DLI)服务对于PySpark是原生支持的。 对于数据分析来说Python是很自然的选择,而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序,通常会把程序打成Jar包并依赖其他一些第三方的Jar,同样的Py

    来自:帮助中心

    查看更多 →

  • 跨源访问MRS HBase,连接超时,日志未打印错误

    主机信息”,在弹出的对话框中,填写主机信息。格式为:“IP 主机名/ 域名 ”,多条信息之间以换行分隔。 MRS主机信息获取,详细请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 父主题: 跨源连接运维报错

    来自:帮助中心

    查看更多 →

  • DLV的数据连接支持哪些类型?

    DLV 的数据连接支持哪些类型? DLV的数据连接支持以下几种: 数据库类:包括 数据仓库 服务(DWS)、数据湖探索服务(DLI)、 MapReduce服务 (MRS)的Hive、MapReduce服务(MRS)的SparkSQL、云数据库(RDS)MySQL、云数据库(RDS)PostgreSQL、云数据库(RDS)SQL

    来自:帮助中心

    查看更多 →

  • MRS HBase输出流

    需计费”,勾选“专属资源模式”即可。具体操作请参见《数据湖探索用户指南》中创建队列章节。 确保DLI独享队列与MRS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,

    来自:帮助中心

    查看更多 →

  • 快速卸载

    快速卸载 卸载解决方案前,请先确保OBS桶中无数据,否则解决方案将卸载失败。 删除DLI数据库。登录数据湖探索 DLI 库表管理控制台,依次单击“更多”“删除数据库”在弹出的确认窗口中,单击“是”。 图1 删除DLI数据库 图2 确认删除 解决方案部署成功后,登录 资源编排 服务 R

    来自:帮助中心

    查看更多 →

  • 华为云数据治理平台

    DataArtsStudio https://support.huaweicloud.com/dataartsstudio/index.html 数据湖探索 DLI https://support.huaweicloud.com/dli/index.html 数据仓库服务DWS https://support

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了