eServer实例。 HDFS/HBase集群 Hive表数据存储在HDFS集群中。 MapReduce/Yarn集群 提供分布式计算服务：Hive的大部分数据操作依赖MapReduce，HiveServer的主要功能是将HQL语句转换成MapReduce任务，从而完成对海量数据的处理。

查看更多 →

执行以下Yarn任务访问OBS： yarn jar 客户端安装目录/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -Dmapreduce.job.hdfs-servers=NAMESERVICE -fs obs://OBS并行文件系统名称

查看更多 →

MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发简介

查看更多 →

MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前，需首先准备开发环境，推荐使用Java语言进行开发，使用IntelliJ

查看更多 →

支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分

查看更多 →

编译并运行MapReduce应用 在程序代码完成开发后，可以在Linux环境中运行应用。 MapReduce应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。 操作步骤 生成MapReduce应用可执行包。 执行mvn package生成jar包，在工程目录

查看更多 →

yarn.app.mapreduce.shuffle.log.backups MR应用程序shuffle日志保留的最大个数。设置为“0”表示不滚动输出。 当yarn.app.mapreduce.shuffle.log.limit.kb和yarn.app.mapreduce.shuffle

查看更多 →

准备HDFS应用开发环境 准备HDFS应用开发和运行环境 导入并配置HDFS样例工程 父主题： HDFS开发指南（普通模式）

查看更多 →

准备HDFS应用开发环境 准备HDFS应用开发和运行环境 导入并配置HDFS样例工程 配置HDFS应用安全认证 父主题： HDFS开发指南（安全模式）

查看更多 →

HDFS应用开发常见问题 HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 HDFS Shell命令介绍 登录 MRS Manager 下载MRS客户端 父主题： HDFS开发指南

查看更多 →

准备HDFS应用开发环境 准备HDFS应用开发和运行环境 导入并配置HDFS样例工程 父主题： HDFS开发指南（普通模式）

查看更多 →

HDFS应用开发常见问题 HDFS常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问普通模式集群HDFS 父主题： HDFS开发指南（普通模式）

查看更多 →

HDFS应用开发常见问题 HDFS常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问安全模式集群HDFS 父主题： HDFS开发指南（安全模式）

查看更多 →

API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java APIHDFS Java API接口介绍 HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口HDFS C API接口介绍 的描述进行应用开发。 Shell

查看更多 →

x环境中调测HDFS应用）同目录的conf目录下。 表1 配置文件 文件名称 作用 获取地址 core-site.xml 配置HDFS详细参数。 ${HADOOP_HOME}/etc/hadoop/core-site.xml hdfs-site.xml 配置HDFS详细参数。 $

查看更多 →

准备HDFS应用开发环境 准备HDFS应用开发和运行环境 导入并配置HDFS样例工程 配置HDFS应用安全认证 父主题： HDFS开发指南（安全模式）

查看更多 →

MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发常用概念

查看更多 →

准备MapReduce应用开发用户 开发用户用于运行样例工程。用户需要有组件权限，才能运行样例工程。 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置

查看更多 →

MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发简介

查看更多 →

MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发简介

查看更多 →

例如，将“/opt/client/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples*.jar”包设置为高优先级任务。 yarn jar /opt/client/HDFS/hadoop/share/hadoop/mapreduce/had

查看更多 →