数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    数据湖查询 更多内容
  • 监控安全风险

    用率、失败作业率、等待作业数等信息。还可以通过 云监控服务 提供的管理控制台或API接口来检索 数据湖 探索服务产生的监控指标和告警信息。 关于 DLI 支持的监控指标请参见数据湖探索监控指标说明及查看指导。 父主题: 安全

    来自:帮助中心

    查看更多 →

  • SQL查询和子查询

    SQL查询和子查询 GaussDB数据库 兼容除分层查询以外的SQL查询和子查询。 表1 SQL查询和子查询 序号 Oracle数据库 GaussDB 数据库 差异 1 创建简单查询 支持。 - 2 分层查询 不支持。 - 3 UNION [ALL],INTERSECT,减运算符 支持。

    来自:帮助中心

    查看更多 →

  • 支持的数据源(2.9.2.200)

    不支持DWS物理机纳管模式。 数据湖探索(DLI) - MRS ClickHouse 数据仓库 :MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21.3.4.X。 Hadoop MRS HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)

    来自:帮助中心

    查看更多 →

  • 支持的数据源(2.9.2.200)

    不支持DWS物理机纳管模式。 数据湖探索(DLI) - MRS ClickHouse 数据仓库:MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21.3.4.X。 Hadoop MRS HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)

    来自:帮助中心

    查看更多 →

  • java样例代码

    将写好的java代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • 与其他云服务的关系

    与其他云服务的关系 表1 RES与其他服务的关系 相关服务 交互功能 数据湖探索 数据湖探索(Data Lake Insight,简称DLI)用于推荐系统的离线计算和近线计算。DLI的更多信息请参见《数据湖探索用户指南》。 对象存储服务 对象存储服务(Object Storage

    来自:帮助中心

    查看更多 →

  • DataArts Studio企业模式概述

    E CS 等), DataArts Studio 通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致,详细操作请参见新建数据连接。

    来自:帮助中心

    查看更多 →

  • 支持的数据源(2.9.2.200)

    不支持DWS物理机纳管模式。 数据湖探索(DLI) - MRS ClickHouse 数据仓库:MRS ClickHouse,数据湖探索(DLI) MRS ClickHouse建议使用的版本:21.3.4.X。 Hadoop MRS HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)

    来自:帮助中心

    查看更多 →

  • Java SDK概述

    介绍将OBS桶的操作权限授权给DLI的Java SDK使用说明。 队列相关 介绍创建队列、获取默认队列、查询所有队列、删除队列的Java SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关Java

    来自:帮助中心

    查看更多 →

  • 权限管理

    Administrator 租户管理员。 操作权限:具有数据湖探索服务资源的所有执行权限。创建后,可通过ACL赋权给其他子用户使用。 作用范围:项目级服务。 系统角色 无 DLI Service Administrator 数据湖探索管理员。 操作权限:具有数据湖探索服务资源的所有执行权限。创建后,可通过ACL赋权给其他子用户使用。

    来自:帮助中心

    查看更多 →

  • scala样例代码

    将写好的代码生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • SQL查询和子查询

    SQL查询和子查询 GaussDB数据库兼容除分层查询以外的SQL查询和子查询。 表1 SQL查询和子查询 序号 Oracle数据库 GaussDB数据库 差异 1 创建简单查询 支持。 - 2 分层查询 支持,有差异。 GaussDB仅支持Oracle中的CONNECT_BY_FILTERING

    来自:帮助中心

    查看更多 →

  • 开发者操作

    所示。 表1 开发者操作 操作 说明 脚本开发 选择开发环境的数据湖引擎,在开发环境下的调测并发布数据开发脚本,发布到生产环境后系统会自动替换为对应生产环境引擎。 具体请参见脚本开发。 作业开发 选择开发环境的数据湖引擎,在开发环境下的调测并发布数据开发作业,发布到生产环境后系统会自动替换为对应生产环境引擎。

    来自:帮助中心

    查看更多 →

  • Spark 3.3.1版本说明

    Spark UI支持火焰图 Spark UI支持绘制火焰图。 优化SQL作业NOT IN语句查询性能 NOT IN语句查询性能提升。 优化Multi-INSERT语句查询性能 Multi-INSERT语句查询性能提升。 父主题: 版本支持公告

    来自:帮助中心

    查看更多 →

  • 使用限制

    使用基因容器时也会使用其他云服务,包括:云容器引擎、云容器实例、 弹性云服务器 、虚拟私有云、 容器镜像服务 、弹性文件服务、数据湖探索等。可登录控制台,到“资源 > 我的配额”页面查询这些云服务的具体配额信息。如果当前配额不能满足业务要求,请单击“申请扩大配额”,根据指导进行调整。

    来自:帮助中心

    查看更多 →

  • StarRocks基本原理

    序键排序后再存储。查询时返回主键相同的一组数据中的最新数据。相对于更新模型,主键模型在查询时不需要执行聚合操作,并且支持谓词和索引下推,能够在支持实时和频繁更新等场景的同时,提供高效查询。 数据分布 建表时,您可以通过设置合理的分区和分桶,实现数据均匀分布和查询性能提升。数据均匀

    来自:帮助中心

    查看更多 →

  • 咨询与计费

    数据库、数据仓库、数据湖与华为智能数据湖方案 DataArts Studio和沃土是什么关系? DataArts Studio和ROMA是什么关系? DataArts Studio是否支持私有化部署到本地或私有云? 如何在IAM中创建细粒度权限策略? 用户已添加权限,还是无法查看工作空间?

    来自:帮助中心

    查看更多 →

  • Python SDK概述

    I客户端 Python SDK列表 表1 Python SDK列表 类型 说明 队列相关 介绍查询所有队列的Python SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关的Python

    来自:帮助中心

    查看更多 →

  • 权限管理概述

    Administrator 租户管理员。 操作权限:具有数据湖探索服务资源的所有执行权限。创建后,可通过ACL赋权给其他子用户使用。 作用范围:项目级服务。 系统角色 无 DLI Service Administrator 数据湖探索管理员。 操作权限:具有数据湖探索服务资源的所有执行权限。创建后,可通过ACL赋权给其他子用户使用。

    来自:帮助中心

    查看更多 →

  • 查看查询

    面。 “高级查询”页面默认展示预设查询列表,您可以选择“自定义查询”页签,查看自定义查询列表。 在查询列表中可以查看查询的名称和描述等信息。 单击需要查看查询名称,进入查询概览页。 可以查看查询的具体SQL语句。 图1 查看查询详情 父主题: 高级查询

    来自:帮助中心

    查看更多 →

  • java样例代码

    将写好的java代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了