数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    数据湖 元数据管理 更多内容
  • 新建DataArts Studio与DWS数据湖的连接

    要的组件。 在创建数据连接前,请确保待连接的 数据湖 DataArts Studio 实例之间网络互通。 如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、 MRS 等),则网络互通需满足如下条件:

    来自:帮助中心

    查看更多 →

  • 功能总览

    LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 已发布区域:以控制台实际上线区域为准。 创建LakeFormation实例 配置LakeFormation实例 元数据管理 数据目录(Catalog) LakeFormation实例的元

    来自:帮助中心

    查看更多 →

  • 数据治理平台

    大数据服务MRS 图4 云原生数据湖全景 基于MRS,建设企业级云原生数据湖,云原生数据湖主要包括数据湖,数据集市: 数据湖:企业内多种格式数据源汇聚的大数据平台,通过严格的数据权限和资源管控,将数据和算力开放给各种使用者,为数据湖。一份数据支持多种分析,是数据湖最大的特点。数据湖又分为三个阶段:

    来自:帮助中心

    查看更多 →

  • 创建并运行数据湖元数据同步任务

    目。 在元数据采集区域,单击“创建任务 > 数据湖元数据同步”按钮,右侧弹出创建任务-数据湖元数据同步窗口。 根据表1,配置数据湖元数据同步任务参数。 表1 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“数据湖元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。

    来自:帮助中心

    查看更多 →

  • 修订记录

    私有模板和公共模板的区别是什么 新增数据安全审计,对应章节为“安全审计”。 2020-03-30 新增3个服务:数据加载、元数据管理(新版本)、数据处理(新版本)。 元数据管理与数据处理更名为:元数据管理与数据处理(旧版本) 数据权限管理更名为:数据安全服务。 2019-12-30 新增数据准备。 2019-10-30

    来自:帮助中心

    查看更多 →

  • 应用场景

    无缝访问数据湖 对接Hive Metastore元数据管理,直接访问数据湖的数据表定义,无需用户创建外表,只需创建external schema即可。 支持主要数据格式:ORC,Parquet。 融合查询 混合查询数据湖和仓内的任意数据。 查询一步到位输出到仓内/数据湖,无需额外数据中转拷贝。

    来自:帮助中心

    查看更多 →

  • Cinder API

    Cinder API 云硬盘管理 快照管理 配额管理 云硬盘过户管理 云硬盘元数据管理 快照元数据管理 API版本查询 可用区查询 父主题: 历史API

    来自:帮助中心

    查看更多 →

  • 从本地或OBS导入数据

    从本地或OBS导入数据 在图引擎管理控制台,单击左侧导航栏的“元数据管理”。 在“元数据管理”页面,单击左上角“导入”。 在“导入”页面,您可以在“类型”中选择从“本地”或从“OBS”中导入元数据。 从本地导入 “选择本地文件”:单击“上传”,选择本地的文件。 文件格式必须为xml格式。

    来自:帮助中心

    查看更多 →

  • 裸金属服务器元数据管理

    裸金属服务器 元数据管理 更新裸金属 服务器 元数据 父主题: API

    来自:帮助中心

    查看更多 →

  • 什么是数据治理中心DataArts Studio

    如图所示,DataArts Studio基于数据底座,提供数据集成、开发、治理等能力。DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据底座,例如MRS Hive、 数据仓库 服务DWS等,也支持对接企业传统数据仓库,例如Oracle、MySQL等。 DataArts

    来自:帮助中心

    查看更多 →

  • 数据库、数据仓库、数据湖与华为智能数据湖方案是什么,有哪些区别和联系?

    数据库、数据仓库、数据湖与华为智能数据湖方案是什么,有哪些区别和联系? 如今随着互联网以及物联网等技术的不断发展,越来越多的数据被生产出来,数据管理工具也得到了飞速的发展,大数据相关概念如雨后春笋一般应运而生,如从数据库、数据仓库、数据湖、湖仓一体等。这些概念分别指的是什么,又有

    来自:帮助中心

    查看更多 →

  • 修订记录

    新增“计费说明”章节。 数据准备服务更改名为:数据服务。 2020-03-30 新增3个服务:数据加载、元数据管理(新版本)、数据处理(新版本)。 元数据管理与数据处理更名为:元数据管理与数据处理(旧版本)。 数据权限管理更名为:数据安全服务。 2019-12-30 新增:数据准备服务。

    来自:帮助中心

    查看更多 →

  • 实施步骤

    在元模型管理页面,单击“编辑”,可以编辑元模型信息。 元数据管理元数据管理主要用于组织、存储、维护和利用描述数据的数据(即元数据)。 图19 元数据管理元数据管理页面,可以编辑维护库、表、字段元数据信息。 图20 编辑元数据 在元数据管理页面,单击“编辑”,可以编辑元数据信息。 元数

    来自:帮助中心

    查看更多 →

  • 功能总览

    功能总览 功能总览 全部 数据湖探索 权限管理 弹性资源池 DLI 元数据 DLI SQL作业 DLI Spark作业 DLI Flink作业 跨源连接 DLI自定义委托 自定义镜像 OBS 2.0支持数据湖探索 数据湖探索(Data Lake Insight,以下简称DLI)是完全兼容Apache

    来自:帮助中心

    查看更多 →

  • 新建DataArts Studio与MRS Hive数据湖的连接

    新建DataArts Studio与MRS Hive数据湖的连接 本章节以新建MRS Hive连接为例,介绍如何建立DataArts Studio与数据湖底座之间的数据连接。 前提条件 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。

    来自:帮助中心

    查看更多 →

  • 修订记录

    录中的“元数据管理与数据处理(旧版本)”章节移到数据开发下面。 华为云新增HUAWEI ID登录方式,修改访问数据服务中的界面截图。 2020-03-30 新增3个服务:数据加载服务、元数据管理(新版本)、数据处理(新版本)。 元数据管理与数据处理服务更名为:元数据管理与数据处理(旧版本)。

    来自:帮助中心

    查看更多 →

  • 用户管理

    系统管理员:项目初始化角色不可编辑 数据管家:该角色只能系统管理员来创建,该角色拥有元数据管理平台上数据的查询和编辑权限 普通用户:系统管理员和数据管家都可以创建该角色,该角色只具备元数据管理平台数据查询权限 图2 新建用户 图3 编辑用户 图4 编辑用户信息 图5 删除用户 图6

    来自:帮助中心

    查看更多 →

  • 管理面API(V1)

    管理面API(V1) 系统管理API 图管理API 备份管理API 元数据管理API 任务中心API 父主题: 历史API

    来自:帮助中心

    查看更多 →

  • 裸金属服务器元数据管理(OpenStack Nova API)

    裸金属服务器元数据管理(OpenStack Nova API) 查询裸金属服务器元数据(废弃) 更新裸金属服务器元数据(废弃) 修改裸金属服务器指定元数据(废弃) 删除裸金属服务器指定元数据(废弃) 父主题: 历史API

    来自:帮助中心

    查看更多 →

  • 修订记录

    修改如下接口: 保存项目为模板 查询模板列表 2020-03-30 元数据管理与数据处理更名为:元数据管理与数据处理接口(旧版本)。 数据权限管理更名为:数据安全接口。 新增如下章节: 数据加载接口 元数据管理(新版本) 数据处理(新版本)接口 数据准备接口 2019-12-30

    来自:帮助中心

    查看更多 →

  • 数据湖队列什么情况下是空闲状态?

    数据湖队列什么情况下是空闲状态? 队列空闲状态是指在DLI 作业管理中,该队列下均无SQL 作业运行,或者 Flink 作业运行、Spark 作业运行。 即一个自然小时内无作业运行,该自然小时为空闲状态。不会进行计费。 通常按需计费的队列,在空闲1h后计算资源会被释放,再次使用时

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了