数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    数据湖 元数据管理 更多内容
  • 产品功能

    产品功能 作业管理 元数据管理 企业项目管理 多租户资源管理 组件WebUI便捷访问 节点自定义引导操作 集群管理 集群运维 集群状态消息通知 MRS 安全增强 MRS可靠性增强

    来自:帮助中心

    查看更多 →

  • 创建元数据

    array”数据类型,多值类型不支持该数据类型。 操作 删除:删除不需要的属性。 单击“确定”完成操作,当元数据创建完成后,元数据文件将展示在元数据管理页面。 在元数据管理页面,您可以查看元数据的存储路径,状态,修改时间,是否加密等信息。 父主题: 元数据操作

    来自:帮助中心

    查看更多 →

  • API(OpenStack Nova v2.1 原生)

    API(OpenStack Nova v2.1 原生) 接口使用说明(OpenStack原生) 裸金属服务器 生命周期管理 裸金属 服务器 状态管理 裸金属服务器元数据管理 裸金属服务器IP地址查询 裸金属服务器规格查询 裸金属服务器网卡管理 裸金属服务器云硬盘管理 裸金属服务器SSH密钥管理 裸金属服务器一维标签管理

    来自:帮助中心

    查看更多 →

  • 数据开发与治理

    数据开发与治理 数据源管理与数据标准管理 数据建模 数据开发 数据血缘、资源管理、函数管理和变量管理 数据发布CI/CD、任务运维 数据质量管理 元数据管理 数据资源管理 数据服务管理 数据安全 父主题: 产品操作

    来自:帮助中心

    查看更多 →

  • 管理员操作

    Studio通过管理中心的创建数据连接区分开发环境和生产环境的 数据湖 服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务(即两个集群),且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。 例如,当您的数据湖服务为MRS集群时,需要准备两套MRS

    来自:帮助中心

    查看更多 →

  • 事件分析

    需要具备AppStage指标开发者或运营管理员权限,权限申请操作请参见权限管理。 基础模型所需的元事件、事件属性、用户属性已在“元数据管理”页面下配置。具体请参见元数据管理。 操作步骤 在AppStage首页右上区域单击“运营中心”快捷入口,进入运营中心工作台。 在左侧导航栏选择“运营分析

    来自:帮助中心

    查看更多 →

  • AppStage运营中心功能介绍

    运营中心提供通用数据接入能力,通过与数据源连接,可以建立数据源中数据表的迁移任务,将源端数据迁移到运营中心,为后续业务做数据准备。 元数据管理 元数据管理作为业务产品业务分析的数据来源基础,提供元事件配置、事件属性配置、用户属性配置等功能,以便使用者对业务产品进行业务分析。 运营分析

    来自:帮助中心

    查看更多 →

  • 事件分析

    需要具备AppStage指标开发者或运营管理员权限,权限申请操作请参见权限管理。 基础模型所需的元事件、事件属性、用户属性已在“元数据管理”页面下配置。具体请参见元数据管理。 操作步骤 在AppStage首页右上区域单击“运营中心”快捷入口,进入运营中心工作台。 在左侧导航栏选择“运营分析

    来自:帮助中心

    查看更多 →

  • 动态安全传输通道

    源端服务器中的迁移Agent从 主机迁移服务 获取到迁移指令后,首先会动态生成多套SSH密钥对和多套SSL证书、私钥,SSH密钥对通过华为云元数据管理服务传输给目的端服务器;然后目的端服务器会重启并使用新生成的SSH密钥对建立安全的SSH通道;最后源端Agent会将SSL证书和私钥通过

    来自:帮助中心

    查看更多 →

  • API

    查询API版本信息 裸金属服务器生命周期管理 裸金属服务器状态管理 裸金属服务器规格管理 裸金属服务器网卡管理 裸金属服务器云硬盘管理 裸金属服务器元数据管理 裸金属服务器租户配额管理 裸金属服务器密码管理 Job管理 裸金属服务器的标签管理

    来自:帮助中心

    查看更多 →

  • DLI如何访问OBS桶中的数据

    DLI 如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。 父主题: 作业开发

    来自:帮助中心

    查看更多 →

  • 功能介绍

    运营中心提供通用数据接入能力,通过与数据源连接,可以建立数据源中数据表的迁移任务,将源端数据迁移到运营中心,为后续业务做数据准备。 元数据管理 元数据管理作为业务产品业务分析的数据来源基础,提供元事件配置、事件属性配置、用户属性配置等功能,以便使用者对业务产品进行业务分析。 运营分析

    来自:帮助中心

    查看更多 →

  • 数据库、数据仓库、数据湖、湖仓一体分别是什么?

    针对读操作进行优化 针对写操作进行优化 什么是数据湖? 在企业内部,数据是一类重要资产已经成为了共识。随着企业的持续发展,数据不断堆积,企业希望把生产经营中的所有相关数据都完整保存下来,进行有效管理与集中治理,挖掘和探索数据价值。 数据湖就是在这种背景下产生的。数据湖是一个集中存储各类结构化和非结

    来自:帮助中心

    查看更多 →

  • 数据加载支持哪些数据源?

    数据加载支持哪些数据源? 数据加载支持不同存储之间的数据迁移,源端支持OBS(数据湖OBS和租户OBS)、HIVE或DWS存储。目标端支持OBS(数据湖OBS)、HIVE、DWS或HDFS存储。同时支持本地上传数据至OBS(数据湖OBS)。 父主题: 数据加载

    来自:帮助中心

    查看更多 →

  • 方案概述

    政务大数据解决方案: 通过 数据集成平台 ,实现对政务数据的统一汇聚; 通过数据共享交换子平台,实现政务数据内部共享和对外开放; 提供政务元数据管理、数据标准管理、数据规范建模、数据质量管理、政务数据开发和数据资产管理等政务 数据治理 服务; 利用组织关联和 知识图谱 技术,为政务部门提供业务画像、时序图谱等智能化应用场景分析;

    来自:帮助中心

    查看更多 →

  • 新建数据连接

    用两套集群, DataArts Studio 通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。创建数据连接的详细操作请参见新建数据连接。

    来自:帮助中心

    查看更多 →

  • 概述

    的异构数据进行探索。 您可以使用本文档提供API对数据湖探索进行相关操作,包括队列、SQL作业、Flink作业、Spark作业和跨源连接等等。支持的全部操作请参见API概览。 在调用数据湖探索API之前,请确保已经充分了解数据湖探索相关概念。详细信息请参见产品介绍。 父主题: API使用前必读

    来自:帮助中心

    查看更多 →

  • 支持的命令列表

    consistency √ √ history √ √ settings √ √ clear √ √ exit/quit/ctrl+d √ √ 元数据管理 表3 元数据管理支持的命令列表 命令名称 读写模式下是否支持该命令 只读模式下是否支持该命令 create database √ √ show

    来自:帮助中心

    查看更多 →

  • 什么是LakeFormation

    LakeFormation是企业级数据湖一站式构建服务,在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接 MapReduce服务 (MRS)、 数据仓库 服务 GaussDB (DWS)、数据湖探索(DLI)、 AI开发平台 ModelArts、 数据治理中心

    来自:帮助中心

    查看更多 →

  • 方案概述

    用当前登录用户的权限进行部署。 第一次使用数据湖数据湖 DLI时需要登录DLI控制台,如果使用IAM子账户部署该解决方案,请参考部署指南确保该账号已经有DLI的相关授权,第一次使用DLI时候也需要用子账号登录一次控制台。具体请参考数据湖探索 DLI帮助文档。

    来自:帮助中心

    查看更多 →

  • 修订记录

    修订记录 2024-03-30 第五次正式发布。 新增如下章节: 数据表管理 用户基础分析 店铺销售分析 应用事件分析 应用销售分析 元数据管理 运营分析 公共屏幕模板 修改如下章节: 数据模型 指标管理 2024-03-08 第四次正式发布。 修改如下章节: 指标模板库 数据模型

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了