调测MapReduce应用 编译并运行MapReduce应用 查看MapReduce应用调测结果 父主题： MapReduce开发指南

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（applica

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（安全模式）

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

MapReduce Shuffle调优 操作场景 Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task复制数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。 图1 Shuffle过程

查看更多 →

升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分为三个不同步骤：Copy、Sort（实际应当称为Merge）及Reduce。在Copy过程中，Reducer尝试从Nod

查看更多 →

nagerRestart.html 可以通过如下方式启用Work-preserving RM restart功能： 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中“yarn.resourcemanager.work-preserving-recovery

查看更多 →

描述 默认值 mapreduce.reduce.shuffle.max-host-failures MR任务在reduce过程中读取远端shuffle数据允许失败的次数。当设置次数大于5时，可以降低客户端应用的失败率。该参数适用于 MRS 3.x版本。 5 mapreduce.client

查看更多 →

nagerRestart.html 可以通过如下方式启用Work-preserving RM restart功能： 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中“yarn.resourcemanager.work-preserving-recovery

查看更多 →

登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称，该集群需要包含Hadoop组件，且已为MRS集群绑定具有OBS文件系统操作权限的IAM权限委托。 查看或绑定委托的操作如下： 登录MRS集群的“概览”页面，查看“委托”参数是否有值，且绑定的委托具有OBS文件系统操作权限。

查看更多 →

Oozie应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Oozie相关样例工程：

查看更多 →

购买一个包含有Hive组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS 3.1.5版本的集群为例，组件包含Hadoop、Hive组件，集群开启Kerberos认证。 单击“立即购买”，等待MRS集群创建成功。 准备应用开发配置文件 集群创建成功后，登录 FusionInsight Man

查看更多 →

参数入口 对于MRS 3.x之前版本，登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 对于MRS 3.x之后版本，登录FusionInsight Manager，选择“集群 > 服务

查看更多 →

MRS创建 登录MRS管理控制台。 单击“购买集群”，进入“购买集群”页面。 在购买集群页面，选择“自定义购买”页签。 配置软件配置集群信息，“区域”选择【华北-北京四】，填写集群名称，选择集群版本“MRS 3.0.5”，“集群类型”选择【分析集群】，“分析组件”除默认外勾选“S

查看更多 →

在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site.xml”配置文件在客户端安装路径的conf目录下，例如“/opt/client/Yarn/config”。 参数 描述 默认值 yarn.app.mapreduce.am.resource

查看更多 →

MRS集群版本说明 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群

查看更多 →

MRS集群安全配置 集群互信管理 更换MRS集群证书 MRS集群安全加固 修改MRS集群系统用户密码 修改MRS集群数据库用户密码 父主题： MRS集群运维

查看更多 →

下载MRS集群日志 Manager支持批量导出各个服务角色所有实例生成的日志，无需手工登录单个节点获取。 下载MRS集群日志（MRS 3.x及之后版本） 登录FusionInsight Manager。 选择“运维 > 日志 ＞ 下载”。 选择日志下载范围。 “服务”：单击勾选所需服务。

查看更多 →