用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据，需要先配置 MRS 集群的存算分离，请参考配置MRS集群存算分离。 通过管理控制台提交作业 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。

查看更多 →

输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给reduce任务，最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下：

查看更多 →

调测MapReduce应用 编译并运行MapReduce应用 查看MapReduce应用调测结果 父主题： MapReduce开发指南

查看更多 →

行API方式认证。 归档 用来保证所有映射的键值对中的每一个共享相同的键组。 混洗 从Map任务输出的数据到Reduce任务的输入数据的过程称为Shuffle。 映射 用来把一组键值对映射成一组新的键值对。 父主题： MapReduce开发指南（安全模式）

查看更多 →

来进行统一的日志管理。LogAggregationService在收集日志时会把container产生的本地日志合并成一个日志文件上传到HDFS，在一定程度上可以减少日志文件的数量。但在规模较大且任务繁忙的集群上，经过长时间的运行，HDFS依然会面临存储的日志文件过多的问题。 以

查看更多 →

辑，它们组成作业的核心。 MapReduce WebUI界面 用于监控正在运行的或者历史的MapReduce作业在MapReduce框架各个阶段的细节，以及提供日志显示，帮助用户更细粒度地去开发、配置和调优作业。 归档 用来保证所有映射的键值对中的每一个共享相同的键组。 混洗 从

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（安全模式）

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

Shuffle过程 操作步骤 Map阶段的调优 判断Map使用的内存大小 判断Map分配的内存是否足够，一个简单的办法是查看运行完成的job的Counters中，对应的task是否发生过多次GC，以及GC时间占总task运行时间之比。通常，GC时间不应超过task运行时间的10%，即GC time

查看更多 →

MapReduce任务运行失败，ApplicationMaster出现物理内存溢出异常 MapReduce作业信息无法通过ResourceManager Web UI页面的Tracking URL打开 多个NameService环境下运行MapReduce任务失败 基于分区的任务黑名单异常如何处理

查看更多 →

Shuffle过程 操作步骤 Map阶段的调优 判断Map使用的内存大小 判断Map分配的内存是否足够，一个简单的办法是查看运行完成的job的Counters中，对应的task是否发生过多次GC，以及GC时间占总task运行时间之比。通常，GC时间不应超过task运行时间的10%，即GC time

查看更多 →

数据中心配置信息 参数 配置说明 云选择 选择被监控的MongoDB数据库部署的环境。 局点 根据步骤一：准备MongoDB数据库中创建的MongoDB数据库选择的区域。 连接地址 根据步骤一：准备MongoDB数据库中创建的MongoDB数据库的访问地址和端口。 填写数据库配置，此处需要

查看更多 →

多活容灾MongoDB监控准备 配置多活容灾MongoDB监控，请参考MongoDB监控管理 。 父主题： 约束

查看更多 →

DRS迁移实例的弹性公网IP。如图4所示： 图4 迁移实例公网弹性IP 以上讲述的是精细配置白名单的方法，还有一种简单设置白名单的方法，在安全允许的情况下，可以将源数据库MongoDB实例的网络白名单设置为0.0.0.0/0，代表允许任何IP地址访问该实例。 上述的网络白名单是为

查看更多 →

168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的MongoDB数据库名称。 DB_mongodb 用户名 连接MongoDB的用户名。 cdm 密码 连接MongoDB的密码。 - 直连模式 适用于主节点网络通，副本节点网络不通场景。 说明： 直连模式 服务器 列表只能配一个ip。

查看更多 →

的分片类型，则基于范围的分片键是默认的分片类型。 特点：基于范围的分片键对于范围类型的查询比较高效，给定一个片键的范围，分发路由可以很简单地确定哪个数据块存储了请求需要的数据，并将请求转发到相应的分片中。 建议在分片键基数较大，频率较低，并且分片键值不是单调变化的情况下使用基于范围的分片键。

查看更多 →

如何强制停止Hive执行的MapReduce任务 问题 在Hive执行MapReduce任务长时间卡住的情况下想手动停止任务，需要如何操作？ 回答 登录 FusionInsight Manager。 选择“集群 > 服务 > Yarn”。 单击左侧页面的“ResourceManag

查看更多 →

如何强制停止Hive执行的MapReduce任务 问题 在Hive执行MapReduce任务长时间卡住的情况下想手动停止任务，需要如何操作？ 回答 登录FusionInsight Manager。 选择“集群 > 待操作的集群名称 > 服务 > Yarn”。 单击左侧页面的“Re

查看更多 →

提供了更实时高效的多样性算力，可支撑更丰富的大数据处理需求。产品内核及架构深度优化，综合性能是传统MapReduce模型的百倍以上，SLA保障99.95%可用性。 图1 DLI Serverless架构 与传统自建Hadoop集群相比，Serverless架构的DLI还具有以下优势：

查看更多 →

MapReduce应用开发概述 MapReduce应用开发简介 MapReduce应用开发常用概念 MapReduce应用开发流程介绍 父主题： MapReduce开发指南

查看更多 →