Shell命令 Hadoop基本shell命令，包括提交MapReduce作业，终止MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出（InputFormat、OutputFormat） MapReduce框架根据用户指定的InputFormat切割数据

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（安全模式）

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

描述 默认值 mapreduce.reduce.merge.inmem.threshold 内存合并进程的文件数阈值。累计文件数达到阈值时会发起内存合并及溢出到磁盘。小于等于0的值表示该阈值不生效且仅基于ramfs的内存使用情况来触发合并。 1000 mapreduce.reduce

查看更多 →

MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个 服务器 组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把

查看更多 →

调测MapReduce应用 编译并运行MapReduce应用 查看MapReduce应用调测结果 父主题： MapReduce开发指南

查看更多 →

描述 默认值 mapreduce.reduce.merge.inmem.threshold 内存合并进程的文件数阈值。累计文件数达到阈值时会发起内存合并及溢出到磁盘。小于等于0的值表示该阈值不生效且仅基于ramfs的内存使用情况来触发合并。 1000 mapreduce.reduce

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

多个JHS操作同一文件冲突。 支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程

查看更多 →

作业的核心。 MapReduce WebUI界面 用于监控正在运行的或者历史的MapReduce作业在MapReduce框架各个阶段的细节，以及提供日志显示，帮助用户更细粒度地去开发、配置和调优作业。 Keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在产品中进行API方式认证。

查看更多 →

utPath>指HDFS文件系统中input的路径，<outputPath>指HDFS文件系统中output的路径。 在执行以上命令之前，需要把log1.txt和log2.txt这两个文件上传到HDFS的<inputPath>目录下。参考MapReduce统计样例程序开发思路。

查看更多 →

取值范围：整型，-1~INT_MAX，单位为ms。-1表示备机读时不需要做主备差异的校验，0表示主备没有差异的时候才能进行备机读。 默认值：10000000 standby_read_rto 参数说明：控制备机读时系统最大RTO，超过该参数不支持备机读。该参数属于SIGHUP类型参数，请参考表1中对应设置方法进行设置。

查看更多 →

为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 问题 为什么将非ViewFS文件系统配置为ViewFS时MR作业运行失败？ 回答 通过集群将非ViewFS文件系统配置为ViewFS时，ViewFS中的文件夹的用户权限与默认NameService中

查看更多 →

HDFS文件操作的Java示例程序。 本工程主要给出了创建HDFS文件夹、写文件、追加文件内容、读文件和删除文件/文件夹等相关接口操作示例。 hdfs-c-example HDFS C语言开发代码样例。 本示例提供了基于C语言的HDFS文件系统连接、文件操作如创建文件、读写文件、追加文件、删除文件等。

查看更多 →

IDEA工具，同时完成JDK、Maven等初始配置。 准备MapReduce开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接 MRS 集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序

查看更多 →

认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。

查看更多 →

导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例

查看更多 →

lue> 图1 某些组件或者业务程序写入的文件大小 distcp 从源集群读文件后写入新集群，默认是使用的MapReduce任务中的dfs.blocksize，默认128M。 在distcp写完文件后，会基于块的物理大小做校验，因为该文件在新旧集群中block.size不一致，因此拆分大小不一致，导致校验失败。

查看更多 →

导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例

查看更多 →

准备MapReduce样例初始数据 操作场景 在调测程序之前，需要提前准备将待处理的数据。 运行MapReduce统计样例程序，请参考规划MapReduce统计样例程序数据。 运行MapReduce访问多组件样例程序，请参考规划MapReduce访问多组件样例程序数据。 规划MapReduce统计样例程序数据

查看更多 →