到最大。可以通过调整处理的数据量大小，以及调整map和reduce个数来实现。 reduce个数的控制使用“mapreduce.job.reduces”。 map个数取决于使用了哪种InputFormat，以及待处理的数据文件是否可分割。默认的TextFileInputForma

查看更多 →

Mapreduce组件对接OBS 对接OBS 登录 FusionInsight Manager，选择“集群 > 服务 > MapReduce > 配置 > 全部配置”，在左侧的导航列表中选择“Mapreduce > 自定义”。在自定义配置项中，给参数文件“core-site.xml”添加配置项“mapreduce

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（安全模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

MapReduce日志介绍 日志描述 日志默认存储路径： JobhistoryServer：“/var/log/Bigdata/mapreduce/jobhistory”（运行日志），“/var/log/Bigdata/audit/mapreduce/jobhistory”（审计日志）

查看更多 →

MapReduce日志介绍 日志描述 日志默认存储路径： JobhistoryServer：“/var/log/Bigdata/mapreduce/jobhistory”（运行日志），“/var/log/Bigdata/audit/mapreduce/jobhistory”（审计日志）

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（安全模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

，您希望他们拥有 MapReduce服务 的使用权限，但是不希望他们拥有删除 MRS 集群等高危操作的权限，那么您可以使用IAM为开发人员创建用户，通过授予仅能使用MRS，但是不允许删除MRS集群的权限策略，控制他们对MRS集群资源的使用范围。 创建用户并授权使用MRS IAM用户同步

查看更多 →

仅支持目标库版本等于或高于源库版本。 支持的迁移对象范围 在使用DRS进行迁移时，不同类型的迁移任务，支持的迁移对象范围不同，详细情况可参考表2。DRS会根据用户选择，在“预检查”阶段对迁移对象进行自动检查。 表2 支持的迁移对象 类型名称 使用须知 迁移对象范围 支持选择表级、库级或实例级（全部迁移）。

查看更多 →

视化智能调优界面。 学习成本高，需要了解上百个调优参数。 支持数据源 云上：OBS、RDS、DWS、 CSS 、MongoDB、Redis。 云下：自建数据库、MongoDB、Redis。 云上：OBS。 云下：HDFS。 生态兼容 DLV 、永洪BI、帆软。 大数据生态工具。 自定义镜像

查看更多 →

e.xml”文件指定任务默认使用的版本。只需设置适当的配置属性，用户就可以运行不同版本的MapReduce，而无需使用部署在集群中的版本。 图1 具有多个版本NodeManagers及Applications的集群 在图1中：可以看出，应用程序可以使用HDFS中的Hadoop j

查看更多 →

配置MongoDB目的端参数 作业中目的连接为MongoDB连接时，目的端作业参数如表1所示。 表1 MongoDB作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合，相当于关系数据库的表名。单击输入框后

查看更多 →

配置MongoDB目的端参数 作业中目的连接为MongoDB连接时，目的端作业参数如表1所示。 表1 MongoDB作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合，相当于关系数据库的表名。单击输入框后

查看更多 →

MongoDB连接参数说明 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或E CS 上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

运维授权 如何使用集群组件 使用Alluxio 从零开始使用Flink 从零开始使用Flume 从零开始使用Hadoop 从零开始使用HBase 从零开始使用Hive 从零开始使用Hue 从零开始使用Impala 从零开始使用kafka KafkaManager介绍 从零开始使用Kudu

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个 服务器 组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（安全模式）

查看更多 →

rt流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分为三个不同步骤：Copy、Sort（实际应当称为Merge）及Reduce。在Copy过程中，Reducer尝

查看更多 →