数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    DLI连接 更多内容
  • 接入DLI数据源

    单击“数据源 > 新建数据源”,进入新建数据源页面,源库类型选择 DLI 。 填写其他参数,参数说明如表1所示。 图1 接入DLI数据源 表1 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型,本示例为DLI。更多数据源类型连接请参考表1。 名称 是 数据源配置列表的显示名称。

    来自:帮助中心

    查看更多 →

  • 创建DLI委托(废弃)

    具体含义如下: obs_adm:DLI获得访问和使用OBS的委托权限。 dis_adm:访问和使用DIS数据源,需要获得访问和使用DIS(数据接入服务)DIS Administrator权限。 ctable_adm:访问和使用CloudTable( 表格存储 服务)的CloudTable Administrator权限。

    来自:帮助中心

    查看更多 →

  • DLI产品咨询类

    DLI产品咨询类 DLI Flink与 MRS Flink有什么区别? DLI中的Spark组件与MRS中的Spark组件有什么区别? 怎样升级DLI作业的引擎版本 DLI数据可存储在哪些地方 DLI是否支持导入其他租户共享OBS桶的数据? 区域和可用区 全局变量的使用中,一个子

    来自:帮助中心

    查看更多 →

  • DLI常用管理操作

    DLI常用管理操作 使用 自定义镜像 增强作业运行环境 管理DLI全局变量 管理Jar作业程序包 管理DLI资源配额

    来自:帮助中心

    查看更多 →

  • DLI对接LakeFormation

    DLI对接LakeFormation 操作场景 LakeFormation是企业级一站式 湖仓构建 服务,提供元数据统一管理能力,支持无缝对接多种计算引擎及大数据服务,便捷高效地构建 数据湖 和运营相关业务,加速释放业务数据价值。 在DLI的Spark作业和SQL作业场景,支持对接La

    来自:帮助中心

    查看更多 →

  • MaxCompute迁移至DLI数据校验

    单击页面右上角的“新增连接”,右侧弹出新增连接窗口。连接类型选择“ 数据湖探索 DLI)”,单击“下一步”,进入详细配置页面。 根据DLI服务参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称

    来自:帮助中心

    查看更多 →

  • 使用DLI提交Flink OpenSource SQL作业查询RDS MySQL数据

    步骤5:创建DLI连接Kafka的增强型跨源连接 通过增强型跨源连接建立DLI弹性资源池与Kafka实例的网络连通。 步骤6:创建DLI连接RDS的增强型跨源连接 通过增强型跨源连接建立DLI弹性资源池与RDS实例的网络连通。 步骤7:使用DEW管理访问凭据,并配置允许DLI访问DEW的委托

    来自:帮助中心

    查看更多 →

  • 连接参数说明

    连接参数说明 关系数据连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/ 云搜索 服务( CSS )连接 DLI连接 DMS Kafka连接

    来自:帮助中心

    查看更多 →

  • 典型场景示例:迁移RDS数据至DLI

    配置目的端DLI数据源连接。具体参数配置可以参考在 CDM 上配置DLI连接。 图4 创建DLI数据连接 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在“作业管理”界面,选择“表/文件迁移”,单击“新建作业”。

    来自:帮助中心

    查看更多 →

  • 典型场景示例:迁移Hive数据至DLI

    类型选择“数据湖探索DLI)”,单击“下一步”。 图5 创建DLI数据连接 配置目的端DLI数据连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图6 配置DLI数据连接参数 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。 登录CDM控制

    来自:帮助中心

    查看更多 →

  • 连接参数说明

    连接参数说明 关系数据连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/云搜索服务( CS S)连接 DLI连接 CloudTable

    来自:帮助中心

    查看更多 →

  • 获取DLI委托信息(废弃)

    系统提示信息,执行成功时,信息可能为空。 version 否 String 委托版本信息。 current_roles 否 Array of Strings 角色。目前只支持: obs_adm:DLI获得访问和使用OBS的委托权限。 dis_adm:访问和使用DIS数据源,需要获得访问和使用DIS(数据接入服务)DIS

    来自:帮助中心

    查看更多 →

  • DLI Hudi SQL语法参考

    DLI Hudi SQL语法参考 Hudi DDL语法说明 Hudi DML语法说明 Hudi CALL COMMAND语法说明 Schema演进语法说明 配置Hudi数据列默认值

    来自:帮助中心

    查看更多 →

  • 使用DLI提交Flink作业

    使用DLI提交Flink作业 Flink作业概述 创建Flink OpenSource SQL作业 创建Flink Jar作业 配置Flink作业权限 管理Flink作业 管理Flink作业模板 添加Flink作业标签

    来自:帮助中心

    查看更多 →

  • DLI自定义策略

    请参考策略语法中的条件键说明。 服务级条件键,仅适用于对应服务的操作。 运算符与条件键一起使用,构成完整的条件判断语句。具体内容请参考表1。 DLI通过IAM预置了一组条件键。下表显示了适用于DLI服务特定的条件键。 表1 DLI请求条件 DLI条件键 类型 运算符 描述 g:CurrentTime

    来自:帮助中心

    查看更多 →

  • 管理DLI全局变量

    管理DLI全局变量 什么是全局变量 DLI支持在管理控制台设置全局变量,将作业开发过程中频繁使用的变量设置为全局变量,可以避免在编辑作业过程中重复定义,减少开发与维护成本。通过使用全局变量可以替换长难复杂变量,简化复杂参数,提升SQL语句可读性。 本节操作为您介绍如何创建全局变量。

    来自:帮助中心

    查看更多 →

  • 典型场景示例:迁移DWS数据至DLI

    在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“数据湖探索DLI)”,单击“下一步”。 图3 创建DLI数据连接 配置目的端DLI数据连接。具体参数配置可以参考在CDM上配置DLI连接。 图4 创建DLI数据连接 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。

    来自:帮助中心

    查看更多 →

  • 典型场景示例:迁移Elasticsearch数据至DLI

    在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“数据湖探索DLI)”,单击“下一步”。 图3 创建DLI数据连接 配置目的端DLI数据连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图4 配置DLI数据连接参数 配置完成后,单击“保存”完成DLI数据源配置。

    来自:帮助中心

    查看更多 →

  • 典型场景示例:迁移Kafka数据至DLI

    连接”,连接器类型选择“数据湖探索DLI)”,单击“下一步”。 图4 创建DLI数据连接 配置目的端DLI数据连接连接参数。具体参数配置可以参考在CDM上配置DLI连接。 图5 配置DLI数据连接参数 配置完成后,单击“保存”完成DLI数据源配置。 创建CDM迁移作业。

    来自:帮助中心

    查看更多 →

  • 使用CES监控DLI服务

    使用CES监控DLI服务 功能说明 本章节定义了数据湖探索服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标

    来自:帮助中心

    查看更多 →

  • 使用DLI分析账单消费数据

    使用DLI分析账单消费数据 应用场景 本文主要介绍如何使用华为云DLI上的实际消费数据(文中涉及账户的信息已脱敏),在DLI的大数据分析平台上进行分析,找出费用优化的空间,并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤:

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了