核心接口，指定MapReduce作业的reduce个数。默认只启动1个。也可以在“mapred-site.xml”中配置“mapreduce.job.reduces”项。reduce个数由用户控制，通常场景reduce个数是map个数的1/4。 setQueueName(String queueName) 指定Map

查看更多 →

核心接口，指定MapReduce作业的reduce个数。默认只启动1个。也可以在“mapred-site.xml”中配置“mapreduce.job.reduces”项。reduce个数由用户控制，通常场景reduce个数是map个数的1/4。 setQueueName(String queueName) 指定Map

查看更多 →

MapReduce应用开发简介 准备开发和运行环境 使用IntelliJ IDEA工具，请根据指导完成开发环境配置。 MapReduce的运行环境即MapReduce客户端，请根据指导完成客户端的安装和配置。 准备MapReduce开发和运行环境 准备工程 MapReduce提供了不同场景下的样例程序

查看更多 →

MapReduce基本原理 如需使用MapReduce，请确保 MRS 集群内已安装Hadoop服务。 MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”及其主要思想，均取自于函数式编程语言及矢量编程语言。

查看更多 →

配置MapReduce shuffle address 配置场景 当MapReduce shuffle服务启动时，它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务去连接特定IP，那么没有可用的配置。下面的描述允许您配置连接到特定的IP。 配置描述

查看更多 →

address=8000”，保存文件。 MapReduce为分布式计算框架，Map/Reduce任务启动所在的节点存在不确定性，建议将集群内NodeManager实例只保留一个运行，其他全部停止，以保证任务一定会在这个唯一运行的NodeManager节点上启动。 在客户端提交MapReduce任务，在Map/Re

查看更多 →

address=8000”，保存文件。 MapReduce为分布式计算框架，Map/Reduce任务启动所在的节点存在不确定性，建议将集群内NodeManager实例只保留一个运行，其他全部停止，以保证任务一定会在这个唯一运行的NodeManager节点上启动。 在客户端提交MapReduce任务，在Map/Re

查看更多 →

address=8000”，保存文件。 MapReduce为分布式计算框架，Map/Reduce任务启动所在的节点存在不确定性，建议将集群内NodeManager实例只保留一个运行，其他全部停止，以保证任务一定会在这个唯一运行的NodeManager节点上启动。 在客户端提交MapReduce任务，在Map/Re

查看更多 →

集群可启动10个Map任务，MapReduce作业共15个Map任务，那么在一轮Map任务执行完成后只剩5个Map任务，集群还有剩余资源，在这种场景下，配置Slow Start参数值小于1，比如0.8，则Reduce就可以利用集群剩余资源。 操作步骤 参数入口： 进入Mapred

查看更多 →

集群可启动10个Map任务，MapReduce作业共15个Map任务，那么在一轮Map任务执行完成后只剩5个Map任务，集群还有剩余资源，在这种场景下，配置Slow Start参数值小于1，比如0.8，则Reduce就可以利用集群剩余资源。 操作步骤 参数入口： 进入Mapred

查看更多 →

address=8000”，保存文件。 MapReduce为分布式计算框架，Map/Reduce任务启动所在的节点存在不确定性，建议将集群内NodeManager实例只保留一个运行，其他全部停止，以保证任务一定会在这个唯一运行的NodeManager节点上启动。 在客户端提交MapReduce任务，在Map/Re

查看更多 →

和Reducer类，并重写其map和reduce方法来实现业务逻辑，它们组成作业的核心。 MapReduce WebUI界面 用于监控正在运行的或者历史的MapReduce作业在MapReduce框架各个阶段的细节，以及提供日志显示，帮助用户更细粒度地去开发、配置和调优作业。 归档

查看更多 →

MapReduce应用开发环境简介 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装Eclipse 开发环境的基本配置。版本要求：4.2。 安装JDK 版本要求：1.8版本。 父主题：

查看更多 →

准备MapReduce应用开发环境 准备MapReduce开发和运行环境 导入并配置MapReduce样例工程 （可选）创建MapReduce样例工程 父主题： MapReduce开发指南（普通模式）

查看更多 →

准备MapReduce应用开发环境 准备MapReduce开发和运行环境 导入并配置MapReduce样例工程 （可选）创建MapReduce样例工程 配置MapReduce应用安全认证 父主题： MapReduce开发指南（安全模式）

查看更多 →

（可选）创建MapReduce样例工程 操作场景 除了导入MapReduce样例工程，您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具，选择“File > New > Project”，如图1所示。 图1 创建工程

查看更多 →

准备MapReduce样例初始数据 操作场景 在调测程序之前，需要提前准备将待处理的数据。 运行MapReduce统计样例程序，请参考规划MapReduce统计样例程序数据。 运行MapReduce访问多组件样例程序，请参考规划MapReduce访问多组件样例程序数据。 规划MapReduce统计样例程序数据

查看更多 →

（可选）创建MapReduce样例工程 操作场景 除了导入MapReduce样例工程，您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具，选择“File > New > Project”，如图1所示。 图1 创建工程

查看更多 →

MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 MapReduce二次开发远程调试 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce是运行在YARN之上的一个批处理计算框架。MRv1是Hadoop 1.0中的MapReduce实现，它由编程模型（新旧编程接口）、运行时环境（由JobTracker和TaskTracker组成）和数据处理引擎（MapTask和ReduceTask）三部分组成。该框架在

查看更多 →

通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行，则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。如果集群无此参数，或参数值为“fals

查看更多 →