MapReduce应用开发 概述 环境准备 开发程序 调测程序 MapReduce接口 FAQ 开发规范

查看更多 →

提交Mapreduce作业 操作场景 该任务指导用户通过Hue界面提交Mapreduce类型的Oozie作业。 操作步骤 创建工作流，请参考创建工作流。 在工作流编辑页面，选择“MapReduce 作业”按钮，将其拖到操作区中。 在弹出的“MapReduce job”窗口中配置“Jar

查看更多 →

提交Mapreduce作业 操作场景 该任务指导用户通过Hue界面提交Mapreduce类型的Oozie作业。 操作步骤 创建工作流，请参考创建工作流。 在工作流编辑页面，选择“MapReduce 作业”按钮，将其拖到操作区中。 在弹出的“MapReduce job”窗口中配置“Jar

查看更多 →

在OpenTSDB示例工程根目录，执行mvn install编译。 在Opentsdb示例工程根目录，执行mvn eclipse:eclipse创建Eclipse工程。 在应用开发环境中，导入样例工程到Eclipse开发环境。 选择“File > Import > General > Existing Projects

查看更多 →

成长地图 | 华为云 MapReduce服务 MapReduce服务（MapReduce Service）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。 图说MRS 产品介绍 仅两个按钮时选用 立即购买 成长地图 由浅入深，带您玩转MRS

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 运行任务时，客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN 如何在提交MapReduce任务时设置任务优先级 MapRed

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分

查看更多 →

xml”层目录下，打开cmd命令行窗口，执行mvn install编译。 在2中打开的cmd命令行窗口中，执行mvn eclipse:eclipse创建Eclipse工程。 设置Eclipse开发环境。 1.在Eclipse的菜单栏中，选择“Window > Preferences”。 弹出“Preferences”窗口。

查看更多 →

代码规范案例汇总 脚本中的class和脚本名应该一致。 不要把整个处理逻辑使用try catch包起来，这样会导致报错时，无法定位原始错误行，需要去掉try catch。 不推荐以下写法： APP、BO中，需要使用rest或sdk，来直接调用其它BO的内部服务编排。 APP、BO

查看更多 →

实际调优案例 案例：选择合适的分布列 案例：建立合适的索引 案例：增加JOIN列非空条件 案例：使排序下推 案例：设置cost_param对查询性能优化 案例：调整分布键 案例：改建分区表 父主题： 性能调优

查看更多 →

案例：调整分布键 现象描述 某局点测试过程中EXPLAIN ANALYZE后有如下情况： 从执行信息上比较明确的可以看出HashJoin是整个计划的性能瓶颈点，并且从HashJoin的执行时间信息[2657.406,93339.924](数值的具体含义请参见SQL执行计划详解)，

查看更多 →

JDK。 若使用IBM JDK，请确保Eclipse或者IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保Eclipse或者IntelliJ IDEA中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。

查看更多 →

在Hive示例工程根目录，执行mvn install编译。 在Hive示例工程根目录，执行mvn eclipse:eclipse创建Eclipse工程。 在应用开发环境中，导入样例工程到Eclipse开发环境。 选择“File > Import > General > Existing Projects

查看更多 →

案例：使排序下推 现象描述 在做场景性能测试时，发现某场景大部分时间是CN端在做window agg，占到总执行时间95%以上，系统资源不能充分利用。研究发现该场景的特点是：将两列分别求sum作为一个子查询，外层对两列的和再求和后做trunc，然后排序。 表结构如下所示： 1 2

查看更多 →

案例：调整分布键 现象描述 某局点测试过程中EXPLAIN ANALYZE后有如下情况： 从执行信息上比较明确的可以看出HashJoin是整个计划的性能瓶颈点，并且从HashJoin的执行时间信息[2657.406,93339.924](数值的具体含义请参见SQL执行计划详解)，

查看更多 →

实际调优案例 案例：调整查询重写GUC参数rewrite_rule 案例：调整I/O相关参数降低日志膨胀率 案例：建立合适的索引 案例：增加JOIN列非空条件 案例：改建分区表 案例：改写SQL消除子查询 案例：改写SQL消除in-clause 父主题： 性能调优

查看更多 →

案例：调整分布键 现象描述 某局点测试过程中EXPLAIN ANALYZE后有如下情况： 从执行信息上比较明确的可以看出HashJoin是整个计划的性能瓶颈点，并且从HashJoin的执行时间信息[2657.406,93339.924](数值的具体含义请参见SQL执行计划详解)，

查看更多 →

更多案例实践参考 关于数据开发更多的使用进阶指导和案例，请参见最佳实践。 父主题： 使用教程

查看更多 →

实际调优案例 案例：选择合适的分布列 案例：建立合适的索引 案例：增加JOIN列非空条件 案例：使排序下推 案例：设置cost_param对查询性能优化 案例：调整局部聚簇键 案例：调整中间表存储方式 案例：改建分区表 案例：调整GUC参数best_agg_plan 案例：改写SQL消除子查询（案例1）

查看更多 →

获取并导入样例工程 在样例工程获取地址，下载样例工程到本地。 导入样例工程到Eclipse开发环境。 打开Eclipse，选择“File > Import”。显示“Import”窗口，选择Existing Maven Projects，单击“next”按钮。 在“Import Maven

查看更多 →