参数 描述 默认值 mapreduce.shuffle.address 指定地址来运行shuffle服务，格式是IP:PORT，参数的默认值为空。当参数值为空时，将绑定localhost，默认端口为13562。 说明： 如果涉及到的PORT值和配置的mapreduce.shuffle

查看更多 →

MapReduce开发指南 MapReduce应用开发概述 准备MapReduce应用开发环境 开发MapReduce应用 调测MapReduce应用 MapReduce应用开发常见问题

查看更多 →

目前是统一调用LoginUtil类进行安全认证。 在MapReduce样例工程代码中，test@HADOOP.COM、user.keytab和krb5.conf为示例，实际操作时请联系管理员获取相应账号对应权限的keytab文件和krb5.conf文件，并将keytab文件和krb5.conf文件放入到

查看更多 →

RawComparator> cls) 指定MapReduce作业的map任务的输出结果压缩类，默认不使用压缩。也可以在“mapred-site.xml”中配置“mapreduce.map.output.compress”和“mapreduce.map.output.compress

查看更多 →

统 域名 >、user.keytab和krb5.conf为示例，实际操作时需要已将相应账号对应权限的keytab文件和krb5.conf文件放入到“conf”目录，安全登录方法如下代码所示。 public static final String PRINCIPAL= "test@<系统域名>";

查看更多 →

MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用

查看更多 →

FemaleInfoCollector类： 样例1：类CollectionMapper定义Mapper抽象类的map()方法和setup()方法。 public static class CollectionMapper extends Mapper<Object, Text, Text

查看更多 →

MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用

查看更多 →

当前 MRS 提供以下MapReduce相关样例工程： 表1 MapReduce相关样例工程 样例工程位置 描述 mapreduce-example-normal MapReduce统计数据的应用开发示例： 提供了一个MapReduce统计数据的应用开发示例，通过类CollectionMapp

查看更多 →

统域名>、user.keytab和krb5.conf为示例，实际操作时请联系管理员获取相应账号对应权限的keytab文件和krb5.conf文件，并将keytab文件和krb5.conf文件放入到“conf”目录，安全登录方法如下代码所示。 public static final

查看更多 →

MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用

查看更多 →

RawComparator> cls) 指定MapReduce作业的map任务的输出结果压缩类，默认不使用压缩。也可以在“mapred-site.xml”中配置“mapreduce.map.output.compress”和“mapreduce.map.output.compress

查看更多 →

参数 描述 默认值 mapreduce.shuffle.address 指定地址来运行shuffle服务，格式是IP:PORT，参数的默认值为空。当参数值为空时，将绑定localhost，默认端口为13562。 说明： 如果涉及到的PORT值和配置的mapreduce.shuffle

查看更多 →

MapReduce性能调优 多CPU内核下MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

MapReduce性能调优 多CPU内核下的MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

应用程序通常只需要分别继承Mapper类和Reducer类，并重写其map和reduce方法来实现业务逻辑，它们组成作业的核心。 MapReduce WebUI界面 用于监控正在运行的或者历史的MapReduce作业在MapReduce框架各个阶段的细节，以及提供日志显示，帮助用户更细粒度地去开发、配置和调优作业。

查看更多 →

MapReduce应用开发环境简介 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装Eclipse 开发环境的基本配置。版本要求：4.2。 安装JDK 版本要求：1.8版本。 父主题：

查看更多 →

准备MapReduce应用开发环境 准备MapReduce开发和运行环境 导入并配置MapReduce样例工程 （可选）创建MapReduce样例工程 父主题： MapReduce开发指南（普通模式）

查看更多 →

准备MapReduce应用开发环境 准备MapReduce开发和运行环境 导入并配置MapReduce样例工程 （可选）创建MapReduce样例工程 配置MapReduce应用安全认证 父主题： MapReduce开发指南（安全模式）

查看更多 →

Project”页面选择“Java”，然后配置工程需要的JDK和其他Java库。如下图所示。配置完成后单击“Next”。 图2 配置工程所需SDK信息 在会话框中填写新建的工程名称。然后单击Finish完成创建。 图3 填写工程名称 父主题： 准备MapReduce应用开发环境

查看更多 →

准备MapReduce样例初始数据 操作场景 在调测程序之前，需要提前准备将待处理的数据。 运行MapReduce统计样例程序，请参考规划MapReduce统计样例程序数据。 运行MapReduce访问多组件样例程序，请参考规划MapReduce访问多组件样例程序数据。 规划MapReduce统计样例程序数据

查看更多 →