数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    数据仓库数据库数据湖数据池 更多内容
  • DSC能够识别哪些数据源对象?

    DSC能够识别哪些数据源对象? DSC能通过内置规则和自定义规则从OBS、RDS、Elasticsearch、DWS、 DLI 的海量数据中分析并识别出敏感对象。 DSC支持的数据源如表1所示。 表1 支持的数据数据源 具体的数据类型 扫描限制 RDS(关系型数据库) MySQL、

    来自:帮助中心

    查看更多 →

  • 获取数据仓库列表信息

    获取 数据仓库 列表信息 功能介绍 获取数据仓库列表 URI GET /v1.0/{project_id}/common/warehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 表2 Query参数

    来自:帮助中心

    查看更多 →

  • 云架构团队

    企业架构师团队或者外聘 数据架构师 负责设计和管理企业在云上的数据架构,包括数据存储、数据处理、数据集成和数据治理。 选择合适的数据存储方案,例如关系型数据库、NoSQL数据库数据仓库等。 确保数据的质量、安全性和合规性。 与应用架构师和云架构师紧密合作,确保数据架构与整体架构的兼容性。

    来自:帮助中心

    查看更多 →

  • GaussDB(DWS)使用流程

    资源负载管理 GaussDB (DWS)提供了资源管理功能,用户可以根据自身业务将资源(CPU、内存、IO和存储空间)按需划分成不同的资源,不同资源之间资源互相隔离。 GaussDB(DWS)资源负载管理

    来自:帮助中心

    查看更多 →

  • 接入DWS数据源

    照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据 数据湖 分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 仅当

    来自:帮助中心

    查看更多 →

  • 接入DWS数据源

    填写数据源的描述信息。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/数据汇总层/数据集市层/应用数据层/贴源数据层。 是否使用JDBC字符串 选择连接数据库模式。 否:由系统根据用户配置自动拼接数据源连接字符串。 是:由用户自己输入数据源连接字符串。 连接地址

    来自:帮助中心

    查看更多 →

  • 图解数据仓库服务

    图解数据仓库服务

    来自:帮助中心

    查看更多 →

  • 数据仓库上云与实施服务

    数据仓库上云与实施服务 产品介绍 常见问题 计费说明 父主题: 上云与实施

    来自:帮助中心

    查看更多 →

  • 支持的云服务

    集群 数据湖探索 DLI 集群 队列 数据库 弹性资源 云搜索服务 CSS 集群 数据仓库服务 DWS DWS集群 数据接入服务 DIS 通道 表格存储服务 CloudTable CloudTable集群 图引擎服务 GES GES集群 推荐系统 RES 工作空间 数据可视化 DLV

    来自:帮助中心

    查看更多 →

  • 权限管理

    × √ √ 弹性资源 DROP 删除弹性资源 √ × √ √ RESOURCE_MANAGEMENT 弹性资源资源管理 √ × √ √ SCALE 扩缩容弹性资源 √ × √ √ UPDATE 更新弹性资源 √ × √ √ CREATE 创建弹性资源 √ × √ √ SHOW_PRIVILEGES

    来自:帮助中心

    查看更多 →

  • GaussDB(DWS)入门实践

    海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。针对数据使用的一些场景,可以将数据按照时间分为:热数据、冷数据。 分区自动管理优秀实践

    来自:帮助中心

    查看更多 →

  • 什么是LakeFormation

    Formation,简称LakeFormation)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接 MapReduce服务 MRS )、数据仓库服务 GaussDB(DWS)、数据湖探索(DLI)、 AI开发平台 ModelArts、 数据治理中心

    来自:帮助中心

    查看更多 →

  • 与其他云服务的关系

    stopJob 数据仓库服务 CDM 支持从数据仓库服务(Data Warehouse Service,简称DWS)导入、导出数据。 关系型数据库服务 CDM支持从关系型数据库服务(Relational Database Service,简称RDS)导入、导出数据,包括云数据库 MySQL、云数据库

    来自:帮助中心

    查看更多 →

  • 参考:作业分片维度

    参考:作业分片维度 CDM在进行作业分片时,根据源端数据源的差异,分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务(DWS) 支持按表字段分片。 不支持按表分区分片。 数据湖探索(DLI) 支持分区表的分区信息分片。

    来自:帮助中心

    查看更多 →

  • 创建并运行数据湖元数据同步任务

    创建并运行数据湖数据同步任务 利用创建的Delta Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖数据同步任务。 Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。

    来自:帮助中心

    查看更多 →

  • DLV的功能

    DLV的功能 我的数据 通过我的数据模块创建指向您的数据源的连接配置,支持如下数据源: 对象存储服务 (OBS) 数据仓库服务(DWS) 数据湖探索(DLI) MapReduce服务(MRS Hive) MapReduce服务(MRS SparkSQL) 云数据库 MySQL 云数据库 PostgreSQL

    来自:帮助中心

    查看更多 →

  • 支持IAM资源粒度授权的云服务

    elasticresourcepool 弹性资源 group 资源包组 variable 全局变量 分布式消息服务(DMS) rabbitmq RabbitMQ实例 kafka Kafka实例 rocketmq RocketMQ实例 数据仓库服务(DWS) cluster 集群 弹性云服务器 (E CS

    来自:帮助中心

    查看更多 →

  • 附录

    ,适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点,是分布式应用上云必不可少的重要组件。 数据可视化 DLV:数据可视化服务(Data Lake Visualization)是一站式数据可视化平台,适配云

    来自:帮助中心

    查看更多 →

  • 成长地图

    Region内集群容灾 智能运维 数据库用户管理 运维账户 集群日志管理 启停集群 资源负载管理 资源管理 逻辑集群管理 实时/历史TopSQL查询 数据源管理 管理MRS数据源 管理OBS数据源 管理LakeFormation数据源 06 使用数据库 数据库开发指南重点面向数据库的设计者、应用程

    来自:帮助中心

    查看更多 →

  • 什么是LakeFormation

    功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 元数据管理 LakeFormation提供数据湖数据Catalog、数据库数据表等的创建、修改、查看、删除等功能,并支持配置元数据生命周期。帮助您便捷地进行数据湖初始化构建以及持续运营,集中式的统一管理L

    来自:帮助中心

    查看更多 →

  • 参考:作业分片维度

    参考:作业分片维度 CDM在进行作业分片时,根据源端数据源的差异,分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务(DWS) 支持按表字段分片。 不支持按表分区分片。 数据湖探索(DLI) 支持分区表的分区信息分片。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了