同一时刻，只有一个节点启动JHS进程，防止多个JHS操作同一文件冲突。 支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程

查看更多 →

执行计划如图1所示。 图1 增加JOIN列非空条件（一） 优化分析 分析执行计划图1可知，在顺序扫描阶段耗时较多。 多表JOIN中，由于表PS.SDR_WEB_BSCRNC_1DAY的JOIN列“BSCRNC_ID”存在大量空值，JOIN性能差。 建议在语句中手动添加JOIN列的非空判断，修改后的语句如下所示。

查看更多 →

DDM是否支持分布式JOIN DDM支持分布式JOIN。 表设计时，增加字段冗余 支持跨分片的JOIN，主要实现的方式有三种：广播表，ER分片和ShareJoin。 DDM目前禁止多个表的跨库update和delete。 父主题： SQL语法类

查看更多 →

案例：增加JOIN列非空条件 1 SELECT * FROM join_a a JOIN join_b b ON a.b = b.b; 执行计划如下： 1 2 3 4 5 6 7 8 9 10

查看更多 →

Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功

查看更多 →

Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（安全模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

MapReduce日志介绍 日志描述 日志默认存储路径： JobhistoryServer：“/var/log/Bigdata/mapreduce/jobhistory”（运行日志），“/var/log/Bigdata/audit/mapreduce/jobhistory”（审计日志）

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（安全模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

MapReduce日志介绍 日志描述 日志默认存储路径： JobhistoryServer：“/var/log/Bigdata/mapreduce/jobhistory”（运行日志），“/var/log/Bigdata/audit/mapreduce/jobhistory”（审计日志）

查看更多 →

la不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下： 支持Hive查询语言（HiveQL）中大多数的SQL-92功能，包括 SELECT，JOIN和聚合函数。 HDFS，HBase

查看更多 →

la不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下： 支持Hive查询语言（HiveQL）中大多数的SQL-92功能，包括SELECT，JOIN和聚合函数。 HDFS，HBase

查看更多 →

案例：增加JOIN列非空条件 1 SELECT * FROM join_a a JOIN join_b b ON a.b = b.b; 执行计划下： 1 2 3 4 5 6 7 8 9 10

查看更多 →

案例：增加JOIN列非空条件 1 SELECT * FROM join_a a JOIN join_b b ON a.b = b.b; 执行计划如下： 1 2 3 4 5 6 7 8 9 10

查看更多 →

执行计划如图1所示。 图1 增加JOIN列非空条件（一） 优化后 分析执行计划图1可知，在顺序扫描阶段耗时较多。 多表JOIN中，由于表PS.SDR_WEB_BSCRNC_1DAY的JOIN列“BSCRNC_ID”存在大量空值，JOIN性能差。 建议在语句中手动添加JOIN列的非空判断，修改后的语句如下所示。

查看更多 →

la不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下： 支持Hive查询语言（HiveQL）中大多数的SQL-92功能，包括 SELECT，JOIN和聚合函数。 HDFS，HBase

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →