MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发简介

查看更多 →

MapReduce基本原理 如需使用MapReduce，请确保 MRS 集群内已安装Hadoop服务。 MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”及其主要思想，均取自于函数式编程语言及矢量编程语言。

查看更多 →

配置MapReduce shuffle address 配置场景 当MapReduce shuffle服务启动时，它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务去连接特定IP，那么没有可用的配置。下面的描述允许您配置连接到特定的IP。 配置描述

查看更多 →

配置MapReduce应用安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写

查看更多 →

MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用

查看更多 →

setMapperClass(Class<extends Mapper> cls) 核心接口，指定MapReduce作业的Mapper类，默认为空。也可以在“mapred-site.xml”中配置“mapreduce.job.map.class”项。 setReducerClass(Class<extends

查看更多 →

MapReduce开发指南 MapReduce应用开发概述 准备MapReduce应用开发环境 开发MapReduce应用 调测MapReduce应用 MapReduce应用开发常见问题

查看更多 →

配置MapReduce应用安全认证 场景说明 在kerberos认证集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应

查看更多 →

tion conf) 新建一个MapReduce客户端，用于配置作业属性，提交作业。 setMapperClass(Class<extends Mapper> cls) 核心接口，指定MapReduce作业的Mapper类，默认为空。也可以在“mapred-site.xml”中配置“mapreduce

查看更多 →

MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用

查看更多 →

当前MRS提供以下MapReduce相关样例工程： 表1 MapReduce相关样例工程 样例工程位置 描述 mapreduce-example-normal MapReduce统计数据的应用开发示例： 提供了一个MapReduce统计数据的应用开发示例，通过类CollectionMapper

查看更多 →

配置MapReduce应用安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写

查看更多 →

MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用

查看更多 →

FemaleInfoCollector类： 样例1：类CollectionMapper定义Mapper抽象类的map()方法和setup()方法。 public static class CollectionMapper extends Mapper<Object, Text, Text

查看更多 →

MapReduce性能调优 多CPU内核下MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

配置MapReduce shuffle address 配置场景 当MapReduce shuffle服务启动时，它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务去连接特定IP，那么没有可用的配置。下面的描述允许您配置连接到特定的IP。 配置描述

查看更多 →

MapReduce性能调优 多CPU内核下的MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

准备MapReduce应用开发环境 准备MapReduce开发和运行环境 导入并配置MapReduce样例工程 （可选）创建MapReduce样例工程 父主题： MapReduce开发指南（普通模式）

查看更多 →

准备MapReduce应用开发环境 准备MapReduce开发和运行环境 导入并配置MapReduce样例工程 （可选）创建MapReduce样例工程 配置MapReduce应用安全认证 父主题： MapReduce开发指南（安全模式）

查看更多 →

MapReduce应用开发常用概念 Hadoop shell命令 Hadoop基本shell命令，包括提交MapReduce作业，kill MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) M

查看更多 →

MapReduce应用开发环境简介 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装Eclipse 开发环境的基本配置。版本要求：4.2。 安装JDK 版本要求：1.8版本。 父主题：

查看更多 →