MapReduce服务 MRS

 

MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。包年更优惠,买1年只需付10个月费用

 
 

    hadoop日志分析案例 更多内容
  • 常用委托配置案例

    常用委托配置案例 分配委托权限(被委托方操作) 配置 弹性云服务器 E CS 委托

    来自:帮助中心

    查看更多 →

  • 典型场景配置案例

    典型场景配置案例 权限典型场景一览 对当前账号下单个IAM用户授权 对当前账号下多个IAM用户或用户群组授权 对其他账号授权 对所有账号授权 临时授权访问OBS 让IAM用户只能看到被授权的桶 限制指定的IP地址访问桶

    来自:帮助中心

    查看更多 →

  • 迁移项目案例

    迁移项目案例 上海XX科技有限公司是XX全量搬迁到华为云的重点客户,完成应用和大数据等2大核心业务和15个子系统全面上线华为云。 迁移调研分析 基础资源自动采集,自动化匹配目标端资源,确保源端资源无缝对接至目标环境的合适配置,完成千余项资源整合。 图1 迁移调研分析1 通过分析应

    来自:帮助中心

    查看更多 →

  • 实际调优案例

    实际调优案例 案例:选择合适的分布列 案例:建立合适的索引 案例:调整分布键 案例:调整GUC参数best_agg_plan 案例:改写SQL消除子查询 案例:改写SQL排除剪枝干扰 案例:改写SQL消除in-clause 案例:调整查询重写GUC参数rewrite_rule 案例:使用DN

    来自:帮助中心

    查看更多 →

  • 案例:调整分布键

    案例:调整分布键 现象描述 某局点测试过程中EXPLAIN ANALYZE后有如下情况: 从执行信息上比较明确的可以看出HashJoin是整个计划的性能瓶颈点,并且从HashJoin的执行时间信息[2657.406,93339.924](数值的具体含义请参见SQL执行计划详解),

    来自:帮助中心

    查看更多 →

  • 实际调优案例

    实际调优案例 案例:调整查询重写GUC参数rewrite_rule 案例:建立合适的索引 案例:增加JOIN列非空条件 案例:改建分区表 案例:改写SQL消除子查询 案例:改写SQL消除in-clause 父主题: SQL调优指南

    来自:帮助中心

    查看更多 →

  • 案例:使排序下推

    案例:使排序下推 在做场景性能测试时,发现某场景大部分时间是CN端在做window agg,占到总执行时间95%以上,系统资源不能充分利用。研究发现该场景的特点是:将两列分别求sum作为一个子查询,外层对两列的和再求和后做trunc,然后排序。可以尝试将语句改写为子查询,使排序下推。

    来自:帮助中心

    查看更多 →

  • 使用CDM服务迁移Hadoop数据至MRS集群

    使用 CDM 服务迁移Hadoop数据至 MRS 集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能

    来自:帮助中心

    查看更多 →

  • Hive应用开发简介

    Hive应用开发简介 Hive介绍 Hive是一个开源的,建立在Hadoop上的 数据仓库 框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下:

    来自:帮助中心

    查看更多 →

  • Impala应用开发简介

    Impala应用开发简介 Impala直接对存储在HDFS、HBase或 对象存储服务 (OBS)中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据、SQL语法(Hive SQL)、ODBC驱动程序和

    来自:帮助中心

    查看更多 →

  • Impala应用开发简介

    Impala应用开发简介 Impala直接对存储在HDFS,HBase 或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序

    来自:帮助中心

    查看更多 →

  • Impala应用开发简介

    Impala应用开发简介 Impala简介 Impala直接对存储在HDFS,HBase 或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL)

    来自:帮助中心

    查看更多 →

  • 华为数据治理案例

    华为 数据治理 案例 华为数据治理思考 华为数据治理实践 华为数据治理效果

    来自:帮助中心

    查看更多 →

  • 案例:建立合适的索引

    案例:建立合适的索引 现象描述 查询与销售部所有员工的信息: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 --建表 CREATE TABLE staffs (staff_id NUMBER(6)

    来自:帮助中心

    查看更多 →

  • 案例:改建分区表

    案例:改建分区表 逻辑上的一张表根据某种策略分成多个物理块进行存储,这张逻辑上的表称之为分区表,每个物理块则称为一个分区。一般对数据和查询都有明显区间段特征的表使用分区策略可通过较小不必要的数据扫描,从而提升查询性能 在查询时,可通过分区剪枝技术尽可能减少底层数据扫描,即缩小表的

    来自:帮助中心

    查看更多 →

  • 昇腾迁移快速入门案例

    昇腾迁移快速入门案例 ModelArts提供了两个昇腾迁移案例,方便您快速了解并完成昇腾迁移过程。 约束限制 当前仅贵阳一区域支持选择本案例中的规格及镜像。 操作步骤 登录ModelArts管理控制台,在左侧导航栏中选择“开发空间 > Notebook”,进入“Notebook”管理页面。

    来自:帮助中心

    查看更多 →

  • 案例:建立合适的索引

    案例:建立合适的索引 创建合适的索引可以加速对表中数据行的检索。索引占用磁盘空间,并且降低添加、删除和更新行的速度。如果需要非常频繁地更新数据或磁盘空间有限,则需要限制索引的数量。在表较大时再建立索引,表中的数据越多,索引的优越性越明显。建议仅在匹配如下某条原则时创建索引: 需要经常执行查询的字段。

    来自:帮助中心

    查看更多 →

  • 案例:建立合适的索引

    案例:建立合适的索引 现象描述 查询与销售部所有员工的信息: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 --建表 CREATE TABLE staffs (staff_id NUMBER(6)

    来自:帮助中心

    查看更多 →

  • 案例:改建分区表

    案例:改建分区表 现象描述 如下简单SQL语句查询, 性能瓶颈点在dwcjk的Scan上。 优化分析 从业务层确认表数据(在cjrq字段上)有明显的日期特征,符合分区表的特征。重新规划dwcjk表的表定义:字段cjrq为分区键、天为间隔单位定义分区表dwcjk_part。修改后结果如下,性能提升近1倍。

    来自:帮助中心

    查看更多 →

  • 案例:建立合适的索引

    案例:建立合适的索引 现象描述 查询与销售部所有员工的信息: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 --建表 CREATE TABLE staffs (staff_id NUMBER(6)

    来自:帮助中心

    查看更多 →

  • 案例:改建分区表

    案例:改建分区表 现象描述 如下简单SQL语句查询, 性能瓶颈点在normal_date的Scan上。 1 2 3 4 5 6 7 QUERY PLAN

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了