数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    数据湖探索dli 更多内容
  • 数据连接概述

    DLV 目前只支持API数据源。 数据库类 DLV支持以下几种数据库: 数据仓库服务(DWS) 数据湖探索 DLI ) MapReduce服务 MRS Hive) MapReduce服务(MRS SparkSQL) MapReduce服务(ClickHouse) 云数据库 MySQL 云数据库 PostgreSQL

    来自:帮助中心

    查看更多 →

  • 数据湖建设和持续运营

    问控制,为业务数据的安全性提供有力保障。 建议搭配服务 MapReduce服务(MRS) 数据仓库服务 GaussDB (DWS) 数据治理中心 DataArts Studio 数据湖 探索(DLI) 支持情况请咨询对应服务。 父主题: 应用场景

    来自:帮助中心

    查看更多 →

  • 附录

    求。 数据湖探索 DLI数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,支持数

    来自:帮助中心

    查看更多 →

  • 快速部署

    String 必填 子网ID,该模板使用已有子网,该解决方案创建的数据湖探索 DLI队列所在网段默认172.16.0.0/16,请确保所选子网网段不与DLI队列网段重合。该方案所涉及到的其他云服务资源将会部署在该子网下,查询子网ID请参考获取子网ID。 空 secgroup_name如果

    来自:帮助中心

    查看更多 →

  • 自定义参数说明

    在创建数据湖探索 DLI校验任务时,支持的自定义参数及说明参见表1。 表1 DLI校验任务支持的自定义参数说明 参数名称 默认值 描述 mgc.mc2dli.table.partition.enable true DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。

    来自:帮助中心

    查看更多 →

  • 与其它云服务的关系

    为海量数据、高带宽型应用提供有力支持。 数据湖探索(DLI) 基因容器使用数据湖探索服务提供的Spark能力,对GATK、BWA等业务流程进行加速。数据湖探索(Data Lake Insight,简称DLI)是完全托管的数据分析服务,用户无需管理任何服务器,即开即用;本服务基于Spark

    来自:帮助中心

    查看更多 →

  • Flink 1.15版本说明

    Flink 1.15版本说明 数据湖探索(DLI)遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.15版本所做的变更说明。 更多Flink 1.15版本说明请参考Release Notes - Flink Jar 1.15、Flink OpenSource SQL1

    来自:帮助中心

    查看更多 →

  • Spark 3.3.1版本说明

    Spark 3.3.1版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.3.1版本所做的变更说明。 更多Spark 3.3.1版本说明请参考Spark Release Notes。 Spark 3.3.1版本发布时间 版本名称 发布时间

    来自:帮助中心

    查看更多 →

  • 创建目的端连接

    在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“连接管理”按钮,进入连接管理页面。 单击页面右上角的“创建目的端连接”按钮,右侧弹出新增连接窗口。 连接类型选择“数据湖探索 (DLI)”,单击“下一步”,进入详细配置页面。

    来自:帮助中心

    查看更多 →

  • 快速部署

    和空格中的三种,并且不能以-开头。不能与用户名或倒叙的用户名相同。 空 dli_queue_name String 必填 数据湖探索DLI队列名称,第一次使用DLI时需要登录DLI控制台,如果使用IAM子账户部署该解决方案,请确保该账号已经有DLI的相关授权。取值范围:以字母开头,长度为1-48个字

    来自:帮助中心

    查看更多 →

  • 开始使用

    查询同步到数据表的数据。单击“SQL查询”,执行如下SQL语句,即可查询到经过speak SQL作业处理与DLI同步的表数据。 图16 进入SQL查询 图17 执行SQL查询语句 执行DLI Sprak作业SQL查询 执行SQL查询。在控制台单击“服务列表”,选择“数据湖探索 DLI”单击左侧

    来自:帮助中心

    查看更多 →

  • 产品优势

    DLI还具有以下优势: 表1 Serverless DLI与传统自建Hadoop集群对比的优势 优势 维度 数据湖探索 DLI 自建Hadoop系统 低成本 资金成本 按照实际扫描数据量或者CU时收费,可变成本,成本可节约50%。 长期占用资源,资源浪费严重,成本高。 弹性扩缩容能力

    来自:帮助中心

    查看更多 →

  • DLV的功能

    DLV的功能 我的数据 通过我的数据模块创建指向您的数据源的连接配置,支持如下数据源: 对象存储服务(OBS) 数据仓库服务(DWS) 数据湖探索(DLI) MapReduce服务(MRS Hive) MapReduce服务(MRS SparkSQL) 云数据库 MySQL 云数据库 PostgreSQL

    来自:帮助中心

    查看更多 →

  • 元数据全量迁移

    在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“创建迁移任务”按钮,右侧弹出创建迁移任务窗口。 源端组件选择“MaxCompute”,目的端组件选择“数据湖探索 DLI”,任务类型选择

    来自:帮助中心

    查看更多 →

  • 全量数据迁移

    全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧

    来自:帮助中心

    查看更多 →

  • 创建目的端云服务连接

    创建目的端云服务连接 对大数据服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建目的端连接的大数据服务包括: 数据湖探索(DLI) CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。

    来自:帮助中心

    查看更多 →

  • 资源和成本规划

    32GB,并发作业数32 1 数据复制服务(DRS: Data Replication Service) / 1 数据湖探索(DLI: Data Lake Insight) 通用队列,512CUs 1 数据仓库服务(DWS: Data Warehouse Service) X86 | dwsx3

    来自:帮助中心

    查看更多 →

  • 管理静态脱敏任务

    静态脱敏场景 源端数据源类型 目的端数据源类型 计算引擎 说明 数据湖探索(DLI数据湖探索(DLI) 使用DLI Spark通用队列 - 数据仓库服务(DWS) 使用DLI Spark通用队列 DLI引擎的静态脱敏任务,当源端或目的端为DWS时,请参考配置DLI队列与内网数据源的网络

    来自:帮助中心

    查看更多 →

  • 增量数据迁移

    源端组件选择“MaxCompute”,目的端组件选择“数据湖探索 DLI”,任务类型选择“增量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置增量数据迁移任务参数。 表1 增量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute

    来自:帮助中心

    查看更多 →

  • OBS数据迁移到DLI服务

    选择连接器类型 连接器类型选择“数据湖探索(DLI)”后单击“下一步”,配置DLI连接参数,如图2所示。 名称:用户自定义连接名称,例如“dlilink”。 访问标识(AK)、密钥(SK):访问DLI数据库的AK、SK。 项目ID:DLI所属区域的项目ID。 图2 创建DLI连接 单击“保存”回到连接管理界面。

    来自:帮助中心

    查看更多 →

  • OBS数据迁移到DLI服务

    选择连接器类型 连接器类型选择“数据湖探索(DLI)”后单击“下一步”,配置DLI连接参数,如图2所示。 名称:用户自定义连接名称,例如“dlilink”。 访问标识(AK)、密钥(SK):访问DLI数据库的AK、SK。 项目ID:DLI所属区域的项目ID。 图2 创建DLI连接 单击“保存”回到连接管理界面。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了