数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    DLI连接 更多内容
  • 快速配置CloudLink Box/CloudLink Bar

    快速配置CloudLink Box/CloudLink Bar 通过Web界面快速配置 通过Touch快速配置 父主题: 管理专业会议终端

    来自:帮助中心

    查看更多 →

  • 建立DLI与共享VPC中资源的网络连接

    Access,具备访问和使用VPC、子网、路由、对等连接的权限。详细操作请参考配置 DLI 云服务委托权限。 作为资源所有者的账号A已创建共享VPC和子网,并指定资源使用者为账号B。 创建共享的详细操作,请参见创建共享。 建立DLI与共享VPC下资源的网络连通 账号A创建增强型跨源连接。 账号A登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理

    来自:帮助中心

    查看更多 →

  • DLI跨源连接报错找不到子网怎么办?

    be found."} 原因分析 DLI跨源连接需要使用VPC、子网、路由、对等连接、端口功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台,选择“全局配置 > 服务授权”。

    来自:帮助中心

    查看更多 →

  • DLI增强型跨源连接DWS失败怎么办?

    DLI增强型跨源连接DWS失败怎么办? 问题现象 客户创建增强型跨源连接DLI和DWS,安全组已配置出方向规则到关联队列,使用的是密码形式的跨源认证,报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下:

    来自:帮助中心

    查看更多 →

  • DLI数据集

    DLI数据集 基于 数据湖探索 (Data Lake Insight,简称DLI服务数据集。 前提条件 连接数据源已创建,如何创建请参见DLI数据源。 在DLI构建数据 登录DLI服务控制台。 参考创建并提交Spark SQL作业中操作,创建队列、数据库和表。 例如,创建了数据库tpch,且数据库中预置了所需的表。

    来自:帮助中心

    查看更多 →

  • 最佳实践内容概览

    BI连接DLI的操作步骤。 配置PowerBI通过Kyuubi连接DLI进行数据查询和分析 介绍PowerBI基于Kyuubi连接DLI,以访问和分析DLI中的数据的操作步骤。 配置Fine BI通过Kyuubi连接DLI进行数据查询和分析 介绍Fine BI基于Kyuubi连接DLI的操作步骤。 配置

    来自:帮助中心

    查看更多 →

  • 配置Fine BI通过Kyuubi连接DLI进行数据查询和分析

    DLI中的数据的操作步骤。 操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接DLI。 步骤2:Fine BI安装数据连接驱动:配置Fine BI安装数据连接驱动。 步骤3:配置Fine BI连接Kyuubi

    来自:帮助中心

    查看更多 →

  • 使用CDM迁移数据至DLI

    单击 CDM 集群后的“作业管理”,进入作业管理界面。 选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图4所示。 图4 选择连接器类型 选择“ 数据湖 探索DLI)”后单击“下一步”,配置DLI连接的参数。 单击“显示高级属性”可查看更多可选参数,具体请参见配置DLI连接。这里保持默认,必填参数如表2所示。

    来自:帮助中心

    查看更多 →

  • 配置PowerBI通过Kyuubi连接DLI进行数据查询和分析

    步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接DLI。 步骤2:配置ODBC连接Kyuubi:安装ODBC驱动,配置ODBC驱动连接到Kyuubi服务器。 步骤3:配置Power BI使用ODBC连接到Kyuubi:在BI工具中创建一个新的数据连接,使用

    来自:帮助中心

    查看更多 →

  • 数据湖探索 DLI

    None 服务介绍 数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导

    来自:帮助中心

    查看更多 →

  • 数据湖探索 DLI

    list - - dli:catalog:bind 授予数据目录绑定权限。 write - - dli:catalog:get 授予数据目录详情查询权限。 read - - dli:queue:list 授予队列列表查询权限。 list queue * - - g:RequestTag/<tag-key>

    来自:帮助中心

    查看更多 →

  • 获取DLI委托信息(废弃)

    系统提示信息,执行成功时,信息可能为空。 version 否 String 委托版本信息。 current_roles 否 Array of Strings 角色。目前只支持: obs_adm:DLI获得访问和使用OBS的委托权限。 dis_adm:访问和使用DIS数据源,需要获得访问和使用DIS(数据接入服务)DIS

    来自:帮助中心

    查看更多 →

  • DLI Hudi SQL语法参考

    DLI Hudi SQL语法参考 Hudi DDL语法说明 Hudi DML语法说明 Hudi CALL COMMAND语法说明 Schema演进语法说明 配置Hudi数据列默认值

    来自:帮助中心

    查看更多 →

  • 使用DLI提交Flink作业

    使用DLI提交Flink作业 Flink作业概述 创建Flink OpenSource SQL作业 创建Flink Jar作业 配置Flink作业权限 管理Flink作业 管理Flink作业模板 添加Flink作业标签

    来自:帮助中心

    查看更多 →

  • DLI自定义策略

    请参考策略语法中的条件键说明。 服务级条件键,仅适用于对应服务的操作。 运算符与条件键一起使用,构成完整的条件判断语句。具体内容请参考表1。 DLI通过IAM预置了一组条件键。下表显示了适用于DLI服务特定的条件键。 表1 DLI请求条件 DLI条件键 类型 运算符 描述 g:CurrentTime

    来自:帮助中心

    查看更多 →

  • 管理DLI全局变量

    管理DLI全局变量 什么是全局变量 DLI支持在管理控制台设置全局变量,将作业开发过程中频繁使用的变量设置为全局变量,可以避免在编辑作业过程中重复定义,减少开发与维护成本。通过使用全局变量可以替换长难复杂变量,简化复杂参数,提升SQL语句可读性。 本节操作为您介绍如何创建全局变量。

    来自:帮助中心

    查看更多 →

  • DLI作业开发流程

    的临时数据:作业日志、作业结果等。请参考配置DLI作业桶。 配置元数据的访问权限。请参考在DLI控制台配置数据库权限、在DLI控制台配置表权限。 DLI数据导入指引 DLI支持在不迁移数据的情况下,直接对OBS中存储的数据进行查询分析,您只需要将数据上传OBS即可使用DLI进行数据分析。

    来自:帮助中心

    查看更多 →

  • 添加DLI转储任务

    OBS:转储到OBS MRS :转储到MRS DLI:转储到DLI CLOUDTABLE:转储到CloudTable DWS:转储到DWS 缺省值:NOWHERE 枚举值: DLI dli_destination_descriptor 否 DliDestinationDescriptorRequest

    来自:帮助中心

    查看更多 →

  • DLI Hudi开发规范

    DLI Hudi开发规范 Hudi开发规范概述 Hudi数据表设计规范 Hudi数据表管理操作规范 Spark on Hudi开发规范 Bucket调优示例

    来自:帮助中心

    查看更多 →

  • DLI Hudi元数据

    在“数据库”选项中选择要对接的DLI元数据中的数据库,即可对接到DLI元数据。 DLI通用队列对接DLI元数据方法: 请参考使用Spark作业访问DLI元数据。 DLI SQL队列对接Lakeformation元数据方法: 参考DLI对接LakeFormation。 DLI通用队列对接Lakeformation元数据方法:

    来自:帮助中心

    查看更多 →

  • DLI Delta元数据

    相关操作 DLI SQL队列对接DLI元数据方法: 在DLI管理控制台的SQL编辑器页面的“数据目录”中选择“dli”。 在“数据库”选项中选择要对接的DLI元数据中的数据库,即可对接到DLI元数据。 DLI通用队列对接DLI元数据方法: 请参考使用Spark作业访问DLI元数据。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了