数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    数据湖探索 更多内容
  • 自动创建委托

    Service,简称OBS)、 MapReduce服务 MRS )集群、 数据仓库 服务(Data Warehouse Service,简称DWS)或 数据湖探索 (Data Lake Insight,简称 DLI )中,需要通过创建IAM委托授权DIS服务去访问用户的OBS、MRS、DWS或DLI资源。

    来自:帮助中心

    查看更多 →

  • 目的端为DLI

    toJobConfig.queue 是 String 写入数据的资源队列。 toJobConfig.database 是 String 写入数据到 数据湖 探索DLI)的哪个数据库。 toJobConfig.table 是 String 写入数据的表名。 toJobConfig.columnList

    来自:帮助中心

    查看更多 →

  • 目的端为DLI

    toJobConfig.queue 是 String 写入数据的资源队列。 toJobConfig.database 是 String 写入数据到数据湖探索DLI)的哪个数据库。 toJobConfig.table 是 String 写入数据的表名。 toJobConfig.columnList

    来自:帮助中心

    查看更多 →

  • 配置DLI数据连接

    配置DLI数据连接 表1 DLI数据连接 参数 是否必选 说明 数据连接类型 是 DLI连接固定选择为数据湖探索DLI)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。

    来自:帮助中心

    查看更多 →

  • 创建Hbase维表

    如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。

    来自:帮助中心

    查看更多 →

  • 什么是LakeFormation

    兼容Hive元数据模型以及Ranger权限模型,支持对接MapReduce服务(MRS)、数据仓库服务 GaussDB (DWS)、数据湖探索DLI)、 AI开发平台 ModelArts、 数据治理中心 DataArts Studio 等多种计算引擎及大数据云服务,使用户可以便捷高效地构

    来自:帮助中心

    查看更多 →

  • 权限管理概述

    :针对DLI服务,管理员能够控制IAM用户仅能对某一类 云服务器 资源进行指定的管理操作。 了解DLI SQL常用操作与系统策略的授权关系,请参考常用操作与系统权限关系。 表1 DLI系统权限 系统角色/策略名称 描述 类别 依赖关系 DLI FullAccess 数据湖探索所有权限。

    来自:帮助中心

    查看更多 →

  • 创建Hbase维表

    创建Hbase维表用于与输入流连接。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。

    来自:帮助中心

    查看更多 →

  • 多服务/多集群共享元数据

    r权限模型的接口,具备良好的生态扩展性。 建议搭配服务 MapReduce服务(MRS) 数据仓库服务 GaussDB(DWS) 数据湖探索DLI) 支持情况请咨询对应服务。 父主题: 应用场景

    来自:帮助中心

    查看更多 →

  • 概述

    您可以使用本文档提供API对智能数据洞察探索进行相关操作,包括获取数据源、准备数据集、数据分析、数据大屏等。支持的全部操作请参见API概览。 在调用数据湖探索API之前,请确保已经充分了解DataArts Insight相关概念。详细信息请参见产品介绍。 父主题: API使用前必读

    来自:帮助中心

    查看更多 →

  • Flink作业如何保存作业日志

    行日志”页签,可以单击页面提供的OBS链接跳转至对应的路径下。 关于如何创建Flink SQL作业或者Flink Jar作业,请参考《数据湖探索用户指南》。 父主题: 使用咨询

    来自:帮助中心

    查看更多 →

  • 永洪BI对接准备工作

    永洪BI对接准备工作 操作场景 永洪BI与DLI对接之前的准备工作。 操作步骤 (可选)在公有云管理控制台上方的“服务列表”中选择“大数据”中的“数据湖探索”,单击右上角的“常用链接”下载DLI JDBC驱动(例如:dli-jdbc-1.1.0-jar-with-dependencies-jdk1

    来自:帮助中心

    查看更多 →

  • DLV的优势

    拖拽即可完成组件自由配置与布局、所见即所得,无需编程就能轻松搭建可视化大屏,并且依据投放设备分辨率,自由定制大屏尺寸。 多种数据源支持 无缝集成华为云数据仓库服务、数据湖探索、关系型数据库、 对象存储服务 等,支持本地 CS V、在线API及企业内部私有云数据。

    来自:帮助中心

    查看更多 →

  • 创建RDS跨源表报空指针错误

    LRHAGE7.datasource.com:5432/postgreDB', 重新创建跨源表成功。 创建跨源表关联RDS语法请参考《数据湖探索SQL语法参考》。 父主题: 跨源连接运维报错

    来自:帮助中心

    查看更多 →

  • 创建OBS表时正确指定OBS路径

    创建OBS表时,OBS路径须指定到数据库下的具体表层路径。路径格式为:obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_seller_task_activity_30d`(`user_id`

    来自:帮助中心

    查看更多 →

  • scala样例代码

    将写好的代码生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

    来自:帮助中心

    查看更多 →

  • 资源和成本规划

    区域:华北-北京四 计费模式:按需计费 规格:cdm.large 8核 16GB 购买数量:1 2.25 * 24 * 30 = 1620元 数据湖探索服务 DLI 按需计费:5.6元/小时 区域:华北-北京四 计费模式:按需计费 类型:SQL队列 CPU架构:X86 规格:16 CUs

    来自:帮助中心

    查看更多 →

  • Hbase源表

    HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。

    来自:帮助中心

    查看更多 →

  • 与其他云服务的关系

    Gateway,简称APIG)对外开放各组件的API接口。另外,数据服务共享版需要将生成的API发布到APIG。 数据湖探索服务 DataArts Studio支持将数据湖探索服务(Data Lake Insight,简称DLI)作为数据湖底座,进行数据集成、开发、治理与开放。 MapReduce服务

    来自:帮助中心

    查看更多 →

  • 最新动态

    支持鲲鹏计算集群(北京四) DLI支持选在鲲鹏CPU架构 商用 创建队列 2019年8月 序号 功能名称 功能描述 阶段 相关文档 1 支持SparkUI查看作业详情 DLI支持通过SparkUI页面查看作业运行的情况。 商用 Class SparkUI 历史变更 关于数据湖探索DLI更多历史版本

    来自:帮助中心

    查看更多 →

  • 使用DLI进行账单分析与优化

    下,选择“产品类型 > 数据湖探索DLI”。在消费汇总中可以发现DLI计算资源使用量消费最多。 图2 费用汇总 单击“账单详情 > 自定义账单”,单击“维度设置”,选择“按使用量”。“统计周期”选择“明细”。在显示数据的标题行,“产品类型”选择“数据湖探索 DLI”,“产品”选择

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了