添加角色”。 填写角色的名称，例如mrrole。 编辑角色，在“权限”的表格中选择“Yarn > Scheduler Queue > root”，勾选“Submit”、“Admin”。 在“权限”表格中选择“HBase > HBase Scope”，勾选global的“Create”、

查看更多 →

程语言。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保证所有映射的键值对共享相同的键组。 图1 分布式批处理引擎 MapReduce是用于并行处理大数据集的软件框架。MapReduce的根源是函数性编

查看更多 →

参数 描述 默认值 mapreduce.shuffle.address 指定地址来运行shuffle服务，格式是IP:PORT，参数的默认值为空。当参数值为空时，将绑定localhost，默认端口为13562。 说明： 如果涉及到的PORT值和配置的mapreduce.shuffle

查看更多 →

MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发简介

查看更多 →

class”项。该方法用来分配map的输出结果到哪个reduce类，默认使用HashPartitioner，均匀分配map的每条键值对记录。例如在hbase应用中，不同的键值对应的region不同，这就需要设定特殊的partitioner类分配map的输出结果。 setSortCom

查看更多 →

MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发简介

查看更多 →

MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用

查看更多 →

reduce输出为key：网民的信息，value：该网民上网总时间。 context.write(key, result); } /** * setup()方法只在进入map任务的map()方法之前或者reduce任务的reduce()方法之前调用一次。

查看更多 →

class”项。该方法用来分配map的输出结果到哪个reduce类，默认使用HashPartitioner，均匀分配map的每条键值对记录。例如在hbase应用中，不同的键值对应的region不同，这就需要设定特殊的partitioner类分配map的输出结果。 setSortCom

查看更多 →

准备MapReduce应用开发环境 MapReduce应用开发环境简介 准备MapReduce应用开发用户 准备Eclipse与JDK 准备MapReduce应用运行环境 导入并配置MapReduce样例工程 配置MapReduce应用安全认证 父主题： MapReduce开发指南

查看更多 →

2.2-准备开发用户中下载的user.keytab和krb5.conf文件拷贝到Linux环境的“/opt/conf”目录下，可参考5.4.1-编译并运行程序。 在二次开发过程中，PRINCIPAL需要用到的用户名，应该填写为带 域名 的用户名，例如创建的用户为test，域名为HADOOP

查看更多 →

当用户在Linux环境下执行yarn jar mapreduce-example.jar命令后，可以通过执行结果显示正在执行的应用的运行情况。例如： yarn jar mapreduce-example.jar /tmp/mapred/example/input/ /tmp/root/output/1

查看更多 →

MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 父主题： MapReduce开发指南

查看更多 →

图解MapReduce服务

查看更多 →

MapReduce REST API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用： http://hadoop.apache

查看更多 →

Project”页面选择“Java”，然后配置工程需要的JDK和其他Java库。如下图所示。配置完成后单击“Next”。 图2 配置工程所需SDK信息 在会话框中填写新建的工程名称。然后单击Finish完成创建。 图3 填写工程名称 父主题： 准备MapReduce应用开发环境

查看更多 →

MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 MapReduce二次开发远程调试 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce REST API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用：http://hadoop.apache

查看更多 →

> MapReduce > 配置 > 全部配置”，在左侧的导航列表中选择“Mapreduce > 自定义”。在自定义配置项中，给参数文件“core-site.xml”添加配置项“mapreduce.jobhistory.always-scan-user-dir”，设置值为“true”。

查看更多 →

-data/text”，配置“mapred.output.dir”的值为“/user/admin/examples/output-data/map-reduce_workflow”。 单击右上角的配置按钮。在打开的配置界面中，单击“删除+”，添加删除目录，例如“/user/adm

查看更多 →

MapReduce任务commit阶段优化 操作场景 默认情况下，如果一个MR任务会产生大量的输出结果文件，那么该job在最后的commit阶段，会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中，大Job的commit过程会严重影响任务的性能表现。

查看更多 →