数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    数据湖探索 更多内容
  • scala样例代码

    将写好的代码生成jar包,上传至 DLI 中。 控制台操作请参考《 数据湖探索 用户指南》。API操作请参考《 数据湖 探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • DLV的优势

    拖拽即可完成组件自由配置与布局、所见即所得,无需编程就能轻松搭建可视化大屏,并且依据投放设备分辨率,自由定制大屏尺寸。 多种数据源支持 无缝集成华为云 数据仓库 服务、数据湖探索、关系型数据库、 对象存储服务 等,支持本地 CS V、在线API及企业内部私有云数据。

    来自:帮助中心

    查看更多 →

  • 创建RDS跨源表提示空指针错误怎么办?

    LRHAGE7.datasource.com:5432/postgreDB', 重新创建跨源表成功。 创建跨源表关联RDS语法请参考《数据湖探索SQL语法参考》。 父主题: 增强型跨源连接类

    来自:帮助中心

    查看更多 →

  • 与其他云服务的关系

    Gateway,简称APIG)对外开放各组件的API接口。另外,数据服务共享版需要将生成的API发布到APIG。 数据湖探索服务 DataArts Studio 支持将数据湖探索服务(Data Lake Insight,简称DLI)作为数据湖底座,进行数据集成、开发、治理与开放。 MapReduce服务

    来自:帮助中心

    查看更多 →

  • 概述

    您可以使用本文档提供API对智能数据洞察探索进行相关操作,包括获取数据源、准备数据集、数据分析、数据大屏等。支持的全部操作请参见API概览。 在调用数据湖探索API之前,请确保已经充分了解DataArts Insight相关概念。详细信息请参见产品介绍。 父主题: API使用前必读

    来自:帮助中心

    查看更多 →

  • Flink作业如何保存作业日志?

    行日志”页签,可以单击页面提供的OBS链接跳转至对应的路径下。 关于如何创建Flink SQL作业或者Flink Jar作业,请参考《数据湖探索用户指南》。 父主题: Flink作业咨询类

    来自:帮助中心

    查看更多 →

  • 最新动态

    最新动态 本文介绍了数据湖探索DLI各特性版本的功能发布和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。 2020年8月 序号 功能名称 功能描述 阶段 相关文档 1 集成TPC-H测试套件 用户可以通过DLI内置的TPC-H测试套件进行简单高效的交互式查

    来自:帮助中心

    查看更多 →

  • DDS输出流

    “按需计费”,勾选“专属资源模式”即可。具体操作请参见《数据湖探索用户指南》中创建队列章节。 确保DLI独享队列与DDS集群建立跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请

    来自:帮助中心

    查看更多 →

  • Hbase结果表

    HBase,请在增强型跨源的主机信息中添加 MRS 集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。

    来自:帮助中心

    查看更多 →

  • DDS输出流

    “按需计费”,勾选“专属资源模式”即可。具体操作请参见《数据湖探索用户指南》中创建队列章节。 确保DLI独享队列与DDS集群建立跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请

    来自:帮助中心

    查看更多 →

  • scala样例代码

    将写好的代码生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • 资源和成本规划

    区域:华北-北京四 计费模式:按需计费 规格:cdm.large 8核 16GB 购买数量:1 2.25 * 24 * 30 = 1620元 数据湖探索服务 DLI 按需计费:5.6元/小时 区域:华北-北京四 计费模式:按需计费 类型:SQL队列 CPU架构:X86 规格:16 CUs

    来自:帮助中心

    查看更多 →

  • 什么是LakeFormation

    I,兼容Hive元数据模型以及Ranger权限模型,支持对接MapReduce服务(MRS)、数据仓库服务 GaussDB (DWS)、数据湖探索(DLI)、 AI开发平台 ModelArts、 数据治理中心 DataArts Studio等多种计算引擎及大数据云服务,使用户可以便捷高效

    来自:帮助中心

    查看更多 →

  • 目的端为DLI

    toJobConfig.queue 是 String 写入数据的资源队列。 toJobConfig.database 是 String 写入数据到数据湖探索(DLI)的哪个数据库。 toJobConfig.table 是 String 写入数据的表名。 toJobConfig.columnList

    来自:帮助中心

    查看更多 →

  • Flink 1.12版本说明

    Flink 1.12版本说明 数据湖探索(DLI)遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.12版本所做的变更说明。 更多Flink 1.12版本说明请参考Release Notes - Flink 1.12。 Flink 1.12版本发布时间 版本名称 发布时间

    来自:帮助中心

    查看更多 →

  • 目的端为DLI

    toJobConfig.queue 是 String 写入数据的资源队列。 toJobConfig.database 是 String 写入数据到数据湖探索(DLI)的哪个数据库。 toJobConfig.table 是 String 写入数据的表名。 toJobConfig.columnList

    来自:帮助中心

    查看更多 →

  • Hbase源表

    HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。

    来自:帮助中心

    查看更多 →

  • Hbase源表

    HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。

    来自:帮助中心

    查看更多 →

  • Hbase结果表

    HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。

    来自:帮助中心

    查看更多 →

  • 资源和成本规划

    表1 资源和成本规划 华为云服务 规格条件 费用 对象存储服务 OBS 用户月成本明细,采用OBS标准单AZ存储 1G。 0.14元/月 数据湖探索 DLI 使用弹性资源池,最低规格64CU,每天创建并使用2小时,用完即删。 25.6(元/小时)*2*30=1,536元/月 云数据库

    来自:帮助中心

    查看更多 →

  • 创建OBS表时怎样指定OBS路径

    创建OBS表时,OBS路径须指定到数据库下的具体表层路径。路径格式为:obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_seller_task_activity_30d`(`user_id`

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了