MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

DDM是否支持分布式JOIN DDM支持分布式JOIN。 表设计时，增加字段冗余 支持跨分片的JOIN，主要实现的方式有三种：广播表，ER分片和ShareJoin。 DDM目前禁止多个表的跨库update和delete。 父主题： SQL语法类

查看更多 →

执行计划如图1所示。 图1 增加JOIN列非空条件（一） 优化后 分析执行计划图1可知，在顺序扫描阶段耗时较多。 多表JOIN中，由于表PS.SDR_WEB_BSCRNC_1DAY的JOIN列“BSCRNC_ID”存在大量空值，JOIN性能差。 建议在语句中手动添加JOIN列的非空判断，修改后的语句如下所示。

查看更多 →

执行计划如图1所示。 图1 增加JOIN列非空条件（一） 优化分析 分析执行计划图1可知，在顺序扫描阶段耗时较多。 多表JOIN中，由于表PS.SDR_WEB_BSCRNC_1DAY的JOIN列“BSCRNC_ID”存在大量空值，JOIN性能差。 建议在语句中手动添加JOIN列的非空判断，修改后的语句如下所示。

查看更多 →

案例：增加JOIN列非空条件 1 SELECT * FROM join_a a JOIN join_b b ON a.b = b.b; 执行计划如下： 1 2 3 4 5 6 7 8 9 10

查看更多 →

Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功

查看更多 →

Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功

查看更多 →

案例：增加JOIN列非空条件 1 SELECT * FROM join_a a JOIN join_b b ON a.b = b.b; 执行计划如下： 1 2 3 4 5 6 7 8 9 10

查看更多 →

Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功

查看更多 →

Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功

查看更多 →

Flink Stream SQL Join应用开发思路 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程

查看更多 →

la不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下： 支持Hive查询语言（HiveQL）中大多数的SQL-92功能，包括 SELECT，JOIN和聚合函数。 HDFS，HBase

查看更多 →

MRS MapReduce 功能 通过MRS MapReduce节点实现在MRS中执行预先定义的MapReduce程序。 参数 用户可参考表1和表2配置MRS MapReduce节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数

查看更多 →

执行计划如图1所示。 图1 增加JOIN列非空条件（一） 优化后 分析执行计划图1可知，在顺序扫描阶段耗时较多。 多表JOIN中，由于表PS.SDR_WEB_BSCRNC_1DAY的JOIN列“BSCRNC_ID”存在大量空值，JOIN性能差。 建议在语句中手动添加JOIN列的非空判断，修改后的语句如下所示。

查看更多 →

案例：增加JOIN列非空条件 1 SELECT * FROM join_a a JOIN join_b b ON a.b = b.b; 执行计划如下： 1 2 3 4 5 6 7 8 9 10

查看更多 →

Tomcat 服务器 是免费的开放源代码的Web应用服务器。 Hadoop组件 底层执行Oozie编排流程的各个组件，包括MapReduce、Hive等。 Oozie原理 Oozie是一个工作流引擎服务器，用于运行MapReduce任务工作流。同时Oozie还是一个Java Web程序，运行在Tomcat容器中。 O

查看更多 →

支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

参考修改集群服务配置参数章节。 建议配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

考修改集群服务配置参数章节。 建议：配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →