数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    数据湖 元数据管理 更多内容
  • 复制元数据

    复制元数据 编辑元数据时,会覆盖之前的元数据文件,为避免原始元数据文件丢失,建议您在编辑元数据之前,先复制一份元数据。 操作步骤 在“元数据管理”页面,复制元数据有两个入口: 单击对应元数据文件名称,进入元数据详情页,在页面底端单击“复制”。 在对应的元数据文件的“操作”列,单击“复制”。

    来自:帮助中心

    查看更多 →

  • 管理面API(V2)

    管理面API(V2) 系统管理API 图管理API 备份管理API 元数据管理API 任务中心API GraphPlugins管理API

    来自:帮助中心

    查看更多 →

  • 权限和授权项

    权限和授权项 权限及授权项说明 生命周期管理 状态管理 规格查询 网卡管理 磁盘管理 元数据管理 租户配额管理 密码管理

    来自:帮助中心

    查看更多 →

  • 删除元数据

    删除元数据 当元数据文件失效后,您可以在“元数据管理”页面,对应的元数据文件“操作”列中单击“删除”,来删除元数据文件。 数据删除后无法恢复,请谨慎操作。 图1 删除元数据 父主题: 元数据操作

    来自:帮助中心

    查看更多 →

  • 创建元数据

    array”数据类型,多值类型不支持该数据类型。 操作 删除:删除不需要的属性。 单击“确定”完成操作,当元数据创建完成后,元数据文件将展示在元数据管理页面。 在元数据管理页面,您可以查看元数据的存储路径,状态,修改时间,是否加密等信息。 父主题: 元数据操作

    来自:帮助中心

    查看更多 →

  • 产品功能

    产品功能 作业管理 元数据管理 企业项目管理 多租户资源管理 组件WebUI便捷访问 节点自定义引导操作 集群管理 集群运维 集群状态消息通知 MRS 安全增强 MRS可靠性增强

    来自:帮助中心

    查看更多 →

  • 修订记录

    数据资产管理服务界面改版,所有服务的访问路径更新。 元数据管理(新版本)的“目录管理”菜单变更为“分层管理”,资料对应更新。 2020-03-30 新增3个服务:数据加载服务、元数据管理(新版本)、数据处理(新版本)。 元数据管理与数据处理服务更名为:元数据管理与数据处理(旧版本)。 数据权限管理更名为:数据安全服务。

    来自:帮助中心

    查看更多 →

  • 创建并提交SQL作业

    创建并提交SQL作业 SQL编辑器简介 SQL作业编辑器支持使用SQL语句执行数据查询操作。 支持SQL2003,兼容SparkSQL,详细语法描述请参见《 数据湖 探索SQL语法参考》。 在总览页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”,可进入“SQL编辑器”页面。

    来自:帮助中心

    查看更多 →

  • 数据开发与治理

    数据开发与治理 数据源管理与数据标准管理 数据建模 数据开发 数据血缘、资源管理、函数管理和变量管理 数据发布CI/CD、任务运维 数据质量管理 元数据管理 数据资源管理 数据服务管理 数据安全 父主题: 产品操作

    来自:帮助中心

    查看更多 →

  • 常用命令

    常用命令 查看帮助信息 自动补全 交互式提示 元数据管理 查询当前版本 版本更新 日志管理 模板管理 管理OBS中的数据

    来自:帮助中心

    查看更多 →

  • 查找元数据

    查找元数据 在“元数据管理”页面,您可以在搜索框中输入元数据文件的名称进行查找。 图1 查找元数据 父主题: 元数据操作

    来自:帮助中心

    查看更多 →

  • API

    API 生命周期管理 状态管理 批量操作 规格管理 网卡管理 磁盘管理 元数据管理 租户配额管理 查询Job状态 标签管理 密码管理 云服务器 组管理 智能购买组管理 规格推荐管理 历史版本

    来自:帮助中心

    查看更多 →

  • 了解数据目录、数据库和表

    定义数据库和表。 Flink支持动态数据类型,可以在运行时定义数据结构,不需要事先定义元数据。 数据目录 数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。 在 DLI 数据目录库下创建数据库和表请参考在DLI控制台创建数据库和表。 数据库 数据库是按照数据结构来组织

    来自:帮助中心

    查看更多 →

  • 动态安全传输通道

    源端 服务器 中的迁移Agent从 主机迁移服务 获取到迁移指令后,首先会动态生成多套SSH密钥对和多套SSL证书、私钥,SSH密钥对通过华为云元数据管理服务传输给目的端服务器;然后目的端服务器会重启并使用新生成的SSH密钥对建立安全的SSH通道;最后源端Agent会将SSL证书和私钥通过

    来自:帮助中心

    查看更多 →

  • 管理员操作

    Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务(即两个集群),且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。 例如,当您的数据湖服务为MRS集群时,需要准备两套MRS

    来自:帮助中心

    查看更多 →

  • DataGovernance,DataGenerate和DataModeling三个目录的作用是什么?

    DataGovernance是从DG同步数据的默认归属目录;DataGenerate是数据生成服务注册数据集的默认目录;DataModeling是数据建模的默认目录。元数据管理(新版本)中创建的模型会放在DataModeling目录下统一管理。 父主题: 数据建模

    来自:帮助中心

    查看更多 →

  • 权限和授权项

    权限和授权项 权限及授权项说明 生命周期管理 状态管理 批量操作 网络管理 镜像管理 安全组管理 规格查询 网卡管理 磁盘管理 元数据管理 租户配额管理 SSH密钥管理 密码管理 浮动IP管理 云服务器组管理 云服务器控制台管理 可用区管理 标签管理 FPGA逻辑文件管理 资源粒度授权

    来自:帮助中心

    查看更多 →

  • 数据目录

    数据目录 该模块提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控。 查看工作空间数据地图 配置数据访问权限 配置数据安全策略(待下线) 采集数据源的元数据 数据目录典型场景教程

    来自:帮助中心

    查看更多 →

  • DLI如何访问OBS桶中的数据

    DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。 父主题: SQL作业开发类

    来自:帮助中心

    查看更多 →

  • 方案概述

    政务大数据解决方案: 通过 数据集成平台 ,实现对政务数据的统一汇聚; 通过数据共享交换子平台,实现政务数据内部共享和对外开放; 提供政务元数据管理、数据标准管理、数据规范建模、数据质量管理、政务数据开发和数据资产管理等政务 数据治理 服务; 利用组织关联和 知识图谱 技术,为政务部门提供业务画像、时序图谱等智能化应用场景分析;

    来自:帮助中心

    查看更多 →

  • 支持的命令列表

    consistency √ √ history √ √ settings √ √ clear √ √ exit/quit/ctrl+d √ √ 元数据管理 表3 元数据管理支持的命令列表 命令名称 读写模式下是否支持该命令 只读模式下是否支持该命令 create database √ √ show

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了