32GB - DRS迁移任务 迁移任务名 DRS-dds 自定义。 源数据库引擎 MongoDB 本示例中源数据库为自建MongoDB，即在华为云 弹性云服务器 上安装社区版MongoDB。 目标数据库引擎 DDS 本示例中目标数据库为华为云DDS实例。 网络类型 公用网络 本示例中采用公用网络。

查看更多 →

子网名称 subnet-default 自定义，易理解可识别。 本地MongoDB 数据库版本 MongoDB 4.4 自定义，易理解可识别。 DDS DDS 实例名 dds-test 自定义，易理解可识别。 数据库引擎 DDS - 兼容的数据库版本 4.4 - 可用区类型 单可用区 -

查看更多 →

将DDS迁移到MongoDB 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDS实例（3.2、3.4、4.0、4.2、4.4、5.0版本） 说明： DDS 5.0版本当前仅支持副本集，不支持集群。 本地自建Mongo数据库（3.2、3.6、3.4、4.0、4.2、4

查看更多 →

32GB - DRS迁移任务 迁移任务名 DRS-dds 自定义。 源数据库引擎 MongoDB 本示例中源数据库为自建MongoDB，即在华为云弹性 云服务器 上安装社区版MongoDB。 目标数据库引擎 DDS 本示例中目标数据库为华为云DDS实例。 网络类型 公用网络 本示例中采用公用网络。

查看更多 →

配置MongoDB/DDS源端参数 从MongoDB、DDS迁移数据时， CDM 会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。 作业中源连接为MongoDB连接时，即从本地MongoDB或DDS导出数据时，源端作业参数如表1所示。

查看更多 →

mysql：MySQL sqlserver：Microsoft SQL Server postgresql：PostgreSQL mongodb：MongoDB、DDS dws： GaussDB (DWS) oracle：Oracle taurus：GaussDB(for MySQL) ddm：DDM

查看更多 →

快速熟悉使用MongoDB监控实现容灾切换的过程。 使用MongoDB监控的步骤如下所示： 步骤一：准备MongoDB数据库 步骤二：创建MAS应用 步骤三：创建MongoDB监控 步骤四：切换MongoDB监控 步骤一：准备MongoDB数据库 在使用MongoDB监控前，需要

查看更多 →

多活容灾MongoDB监控准备 在使用MAS-MongoDB-SDK进行开发前，需要先做好如下准备： 已创建MAS实例。 在实例下已创建对应的监控器。 配置多活容灾MongoDB监控，请参考MongoDB监控管理。 父主题： 约束

查看更多 →

DRS-test-migrate 自定义。 源数据库引擎 MongoDB - 目标数据库引擎 DDS - 网络类型 公网网络 本示例中采用公网网络。 网络示意图 图1 其他云MongoDB数据库实时迁移示意图 图2 其他云自建MongoDB数据库实时迁移示意图 迁移流程 图3 迁移流程图 迁移建议（重要）

查看更多 →

MongoDB连接参数说明 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或E CS 上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行

查看更多 →

CodeArts Snap在代码续写方面效率提升 CodeArts Snap代码生成案例 - 通用逻辑生成 CodeArts Snap代码生成案例 - 快速进行仿写 CodeArts Snap代码生成案例 - 数据库接口编写

查看更多 →

使用Hive CBO功能优化多表查询效率 操作场景 在Hive中执行多表Join时，Hive支持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。

查看更多 →

，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于 MRS 的HCatalog功能，Hive、MapReduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest

查看更多 →

如何安装MongoDB客户端 MongoDB官网提供了针对不同操作系统的客户端安装包，其二进制安装包下载页面链接为：https://www.mongodb.com/try/download/community。 本章节以“RedHat/CentOS 8.0 ×64”和MongoDB

查看更多 →

如何安装MongoDB客户端 MongoDB官网提供了针对不同操作系统的客户端安装包，其二进制安装包下载页面链接为：https://www.mongodb.com/download-center#community。 下面将以“RedHat/CentOS 7.0”和MongoDB 4

查看更多 →

参考修改集群服务配置参数章节。 建议配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

考修改集群服务配置参数章节。 建议：配置“mapreduce.map.java.opts”参数中“-Xmx”值为“mapreduce.map.memory.mb”参数值的0.8倍。 表1 参数说明 参数 描述 默认值 mapreduce.map.memory.mb map任务的内存限制。

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个 服务器 组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把

查看更多 →

调测MapReduce应用 编译并运行MapReduce应用 查看MapReduce应用调测结果 父主题： MapReduce开发指南

查看更多 →