案例：使排序下推 在做场景性能测试时，发现某场景大部分时间是CN端在做window agg，占到总执行时间95%以上，系统资源不能充分利用。研究发现该场景的特点是：将两列分别求sum作为一个子查询，外层对两列的和再求和后做trunc，然后排序。可以尝试将语句改写为子查询，使排序下推。

查看更多 →

场景化实践案例 电商平台业务监控 云监控在视频直播中的应用 云监控在众包平台中的应用 事件监控最佳实践 使用资源分组和告警功能上报指定资源的监控指标 配置 云服务器 全部挂载点磁盘使用率告警规则

查看更多 →

实际调优案例 案例：选择合适的分布列 案例：建立合适的索引 案例：调整分布键 案例：调整GUC参数best_agg_plan 案例：改写SQL消除子查询 案例：改写SQL排除剪枝干扰 案例：改写SQL消除in-clause 案例：调整查询重写GUC参数rewrite_rule 案例：使用DN

查看更多 →

实际调优案例 案例：选择合适的分布列 案例：建立合适的索引 案例：增加JOIN列非空条件 案例：使排序下推 案例：设置cost_param对查询性能优化 案例：调整局部聚簇键 案例：调整中间表存储方式 案例：改建分区表 案例：调整GUC参数best_agg_plan 案例：改写SQL消除子查询（案例1）

查看更多 →

实际调优案例 案例：调整查询重写GUC参数rewrite_rule 案例：调整I/O相关参数降低日志膨胀率 案例：建立合适的索引 案例：增加JOIN列非空条件 案例：改建分区表 案例：改写SQL消除子查询 案例：改写SQL消除in-clause 父主题： 性能调优

查看更多 →

案例：调整分布键 现象描述 某局点测试过程中EXPLAIN ANALYZE后有如下情况： 从执行信息上比较明确的可以看出HashJoin是整个计划的性能瓶颈点，并且从HashJoin的执行时间信息[2657.406,93339.924](数值的具体含义请参见SQL执行计划详解)，

查看更多 →

更多案例实践参考 关于数据开发更多的使用进阶指导和案例，请参见最佳实践。 父主题： 使用教程

查看更多 →

购买 MRS 集群时，找不到HDFS、Yarn、MapReduce组件如何处理？ 问： 购买MRS集群时，为什么找不到HDFS、Yarn、MapReduce组件？ 答： HDFS、Yarn和MapReduce组件包含在Hadoop组件中，当购买MRS集群时无法看到HDFS、Yarn和MapReduce组件，勾选Ha

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个 服务器 组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把

查看更多 →

调测MapReduce应用 编译并运行MapReduce应用 查看MapReduce应用调测结果 父主题： MapReduce开发指南

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（applica

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（安全模式）

查看更多 →

参考修改集群服务配置参数章节。 建议配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →

考修改集群服务配置参数章节。 建议：配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

华为 数据治理 案例 华为数据治理思考 华为数据治理实践 华为数据治理效果

查看更多 →