数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    数据湖案例 更多内容
  • 典型配置案例

    典型配置案例 单AP组网场景 纯AP组网场景 AR+AP组网场景 AR+交换机+AP组网场景 防火墙+交换机+AP组网场景 防火墙+核心交换机+接入交换机+云AP组网场景 防火墙+核心交换机+接入交换机+AP+独立AC组网场景 防火墙+核心交换机+接入交换机+AP+随板AC组网场景

    来自:帮助中心

    查看更多 →

  • 证书选型案例

    证书选型案例 表1 以下为部分典型行业证书选型案例,您在选购证书时可以进行参考。 实例 所属行业 业务特征 常用证书类型 中国农业银行 中国平安 金融、银行、保险 有严格的数据保密要求 希望在网站地址栏展示身份信息 EV 教育部 淘宝、京东 百度、新浪、今日头条 上海证券交易所 国家电网

    来自:帮助中心

    查看更多 →

  • 典型使用案例

    典型使用案例 在这个章节中,我们将介绍一个QingTian Enclave的使用场景。其中包含了一些角色和基本的工作流程,同时使用了华为云数据加密服务(DEW)的KMS子服务,华为云统一身份认证服务(IAM)和华为云 对象存储服务 (OBS)。 工作流程 构建QingTian Enclave镜像

    来自:帮助中心

    查看更多 →

  • 案例:NOT IN转NOT EXISTS

    案例:NOT IN转NOT EXISTS NOT IN语句需要使用nestloop anti join来实现,而NOT EXISTS则可以通过hash anti join来实现。在join列不存在null值的情况下,not exists和not in等价。因此在确保没有null值时,可以通过将not

    来自:帮助中心

    查看更多 →

  • 数据湖治理平台设计

    如图所示, DataArts Studio 基于 数据湖 底座,提供数据集成、开发、治理等能力。DataArts Studio支持对接数据湖与数据库云服务作为数据湖底座,例如 MRS Hive、 数据仓库 服务DWS等,也支持对接企业传统数据仓库,例如Oracle、MySQL等。 DataArts Studio包含如下功能组件:

    来自:帮助中心

    查看更多 →

  • 湖仓构建 LakeFormation

    LakeFormation入门教程,介绍如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖权限管理。 快速入门 使用流程简介 创建LakeFormation实例 规划数据湖 MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实

    来自:帮助中心

    查看更多 →

  • 华为云大数据上云与实施服务优势?

    华为云大数据上云与实施服务优势? 高效的迁移工具保障客户业务连续性: 云数据迁移 CDM服务支持,围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力。数据迁移工具实现Hive、HBase、HDFS(全量、增量数据)迁移到MRS、 DLI ,数据校验工具

    来自:帮助中心

    查看更多 →

  • 图解数据湖探索

    图解数据湖探索

    来自:帮助中心

    查看更多 →

  • 快速入门指引

    Studio是具备数据全生命周期管理和智能数据管理能力的一站式 数据治理 平台,基于数据湖底座,提供数据集成、开发、治理等能力。针对不同的使用场景,我们提供了不同的使用方案示例: 表1 快速入门案例定位 使用案例示例 所选数据湖底座 所需最低版本 业务能力 适用场景 免费版:基于DLI的电商BI报表数据开发流程

    来自:帮助中心

    查看更多 →

  • 案例:使排序下推

    案例:使排序下推 现象描述 在做场景性能测试时,发现某场景大部分时间是CN端在做window agg,占到总执行时间95%以上,系统资源不能充分利用。研究发现该场景的特点是:将两列分别求sum作为一个子查询,外层对两列的和再求和后做trunc,然后排序。 表结构如下所示: 1 2

    来自:帮助中心

    查看更多 →

  • SQL调优案例

    SQL调优案例 案例:选择合适的分布列 案例:建立合适的索引 案例:增加JOIN列非空条件 案例:使排序下推 案例:设置cost_param对查询性能优化 案例:调整局部聚簇键 案例:调整中间表存储方式 案例:改建分区表 案例:调整GUC参数best_agg_plan 案例:改写SQL排除剪枝干扰

    来自:帮助中心

    查看更多 →

  • 案例:使排序下推

    案例:使排序下推 在做场景性能测试时,发现某场景大部分时间是CN端在做window agg,占到总执行时间95%以上,系统资源不能充分利用。研究发现该场景的特点是:将两列分别求sum作为一个子查询,外层对两列的和再求和后做trunc,然后排序。可以尝试将语句改写为子查询,使排序下推。

    来自:帮助中心

    查看更多 →

  • 案例:调整分布键

    案例:调整分布键 现象描述 某局点测试过程中EXPLAIN ANALYZE后有如下情况: 从执行信息上比较明确的可以看出HashJoin是整个计划的性能瓶颈点,并且从HashJoin的执行时间信息[2657.406,93339.924](数值的具体含义请参见SQL执行计划详解),

    来自:帮助中心

    查看更多 →

  • 历史待下线案例

    历史待下线案例 使用AI Gallery的订阅算法实现花卉识别 示例:从 0 到 1 制作 自定义镜像 并用于训练(Pytorch+CPU/GPU) 示例:从 0 到 1 制作自定义镜像并用于训练(MPI+CPU/GPU) 使用ModelArts Standard一键完成商超商品识别模型部署

    来自:帮助中心

    查看更多 →

  • 实际调优案例

    实际调优案例 案例:调整查询重写GUC参数rewrite_rule 案例:调整基于代价的查询重写GUC参数costbased_rewrite_rule 案例:建立合适的索引 案例:增加JOIN列非空条件 案例:改写SQL消除子查询 案例:改写SQL消除in-clause 父主题:

    来自:帮助中心

    查看更多 →

  • 实际调优案例

    实际调优案例 案例:选择合适的分布列 案例:建立合适的索引 案例:增加JOIN列非空条件 案例:使排序下推 案例:设置cost_param对查询性能优化 案例:调整分布键 案例:调整局部聚簇键 案例:改建分区表 案例:调整GUC参数best_agg_plan 案例:改写SQL消除子查询

    来自:帮助中心

    查看更多 →

  • 案例:调整分布键

    案例:调整分布键 现象描述 某局点测试过程中EXPLAIN ANALYZE后有如下情况: 从执行信息上比较明确的可以看出HashJoin是整个计划的性能瓶颈点,并且从HashJoin的执行时间信息[2657.406,93339.924](数值的具体含义请参见SQL执行计划详解),

    来自:帮助中心

    查看更多 →

  • 实际调优案例

    实际调优案例 案例:调整查询重写GUC参数rewrite_rule 案例:建立合适的索引 案例:增加JOIN列非空条件 案例:改建分区表 案例:改写SQL消除子查询 案例:改写SQL消除in-clause 父主题: SQL调优指南

    来自:帮助中心

    查看更多 →

  • SQL调优案例

    SQL调优案例 案例:选择合适的分布列 案例:建立合适的索引 案例:增加JOIN列非空条件 案例:使排序下推 案例:设置cost_param对查询性能优化 案例:调整局部聚簇键 案例:调整中间表存储方式 案例:改建分区表 案例:调整GUC参数best_agg_plan 案例:改写SQL排除剪枝干扰

    来自:帮助中心

    查看更多 →

  • 实际调优案例

    实际调优案例 案例:选择合适的分布列 案例:建立合适的索引 案例:调整分布键 案例:调整GUC参数best_agg_plan 案例:改写SQL消除子查询 案例:改写SQL排除剪枝干扰 案例:改写SQL消除in-clause 案例:调整查询重写GUC参数rewrite_rule 案

    来自:帮助中心

    查看更多 →

  • 新建DataArts Studio与DWS数据湖的连接

    要的组件。 在创建数据连接前,请确保待连接的数据湖与DataArts Studio实例之间网络互通。 如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件:

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了