仅支持目标库版本等于或高于源库版本。 支持的迁移对象范围 在使用DRS进行迁移时，不同类型的迁移任务，支持的迁移对象范围不同，详细情况可参考表2。DRS会根据用户选择，在“预检查”阶段对迁移对象进行自动检查。 表2 支持的迁移对象 类型名称 使用须知 迁移对象范围 支持选择表级、库级或实例级（全部迁移）。

查看更多 →

e.xml”文件指定任务默认使用的版本。只需设置适当的配置属性，用户就可以运行不同版本的MapReduce，而无需使用部署在集群中的版本。 图1 具有多个版本NodeManagers及Applications的集群 在图1中：可以看出，应用程序可以使用HDFS中的Hadoop j

查看更多 →

您可以参考《快速入门》学习并上手使用 MRS 。《快速入门》提供了样例的详细操作指导，您可以基于此操作指导，创建和使用MRS集群。 使用更多的功能，并查看其相关操作指导 如果您是一个MRS集群使用和运维人员，可以参考用户指南完成集群的生命周期管理、扩缩容以及作业管理等操作。集群中组件的使用指导可以详细参考组件操作指南。

查看更多 →

MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前，需首先准备开发环境，推荐使用Java语言进行开发，使用IntelliJ

查看更多 →

开发环境的基本配置，建议使用2019.1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK，请确保IntelliJ

查看更多 →

当前MRS提供以下MapReduce相关样例工程： 表1 MapReduce相关样例工程 样例工程位置 描述 mapreduce-example-security MapReduce统计数据的应用开发示例： 提供了一个MapReduce统计数据的应用开发示例，通过类CollectionMa

查看更多 →

setReducerClass(CollectionReducer.class); // 设置combiner类，默认不使用，使用时通常使用和reduce一样的类。 // Combiner类需要谨慎使用，也可以通过配置文件指定。 job.setCombinerClass(CollectionCombiner

查看更多 →

Reducer> cls) 指定MapReduce作业的Combiner类，默认为空。也可以在“mapred-site.xml”中配置“mapreduce.job.combine.class”项。需要保证reduce的输入输出key，value类型相同才可以使用，谨慎使用。 setInput

查看更多 →

MapReduce应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发简介

查看更多 →

setReducerClass(CollectionReducer.class); // 设置combiner类，默认不使用，使用时通常使用和reduce一样的类。 // Combiner类需要谨慎使用，也可以通过配置文件指定。 job.setCombinerClass(CollectionCombiner

查看更多 →

√ √ - group √ √ √ - mapReduce √ √ √ 在DDS实例关联参数模板中设置参数“security.javascriptEnabled”的值为“true”后，可以使用该命令。更多信息，请参见如何使用MapReduce命令。 Geospatial Commands

查看更多 →

MongoDB连接参数说明 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或E CS 上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行

查看更多 →

配置MongoDB目的端参数 作业中目的连接为MongoDB连接时，目的端作业参数如表1所示。 表1 MongoDB作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合，相当于关系数据库的表名。单击输入框后

查看更多 →

配置MongoDB目的端参数 表1 MongoDB作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库 输入或选择数据库名称。单击输入框后面的按钮可以进入数据库的选择界面。 default 集合名 写入数据的集合名，单击输入框后面的按钮可进入集合的选择界面。

查看更多 →

配置MongoDB目的端参数 作业中目的连接为MongoDB连接时，目的端作业参数如表1所示。 表1 MongoDB作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合，相当于关系数据库的表名。单击输入框后

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

到最大。可以通过调整处理的数据量大小，以及调整map和reduce个数来实现。 reduce个数的控制使用“mapreduce.job.reduces”。 map个数取决于使用了哪种InputFormat，以及待处理的数据文件是否可分割。默认的TextFileInputForma

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个 服务器 组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）

查看更多 →

M用户同步MRS集群说明。 当IAM用户的用户组的所属策略从MRS ReadOnlyAccess向MRS CommonOperations、MRS FullAccess、MRS Administrator变化时，或者反之从MRS CommonOperations、MRS FullAccess、MRS

查看更多 →

配置MapReduce shuffle address 配置场景 当MapReduce shuffle服务启动时，它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务连接特定IP，可以参考该章节进行配置。 配置描述 当需要MapReduce shu

查看更多 →