MongoDB/DDS增量迁移 使用 CDM 导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。 如果配置了时间宏变量，通过 DataArts Studio 数据开发调度CDM迁移作业时，系统会将时间宏变量替

查看更多 →

MongoDB采集器（app-discovery-mongodb） 采集MongoDB服务信息，获取客户端连接信息。参数配置说明参见表1。 表1 MongoDB采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果（app-discovery-mongodb-xxx

查看更多 →

化。根据输入数据的大小，优化“客户端安装路径/Yarn/config/mapred-site.xml”文件中的如下参数： “mapreduce.reduce.memory.mb” “mapreduce.reduce.java.opts” 例如：如果10个mapper的数据大小为5GB，那么理想的堆内存是1

查看更多 →

化。根据输入数据的大小，优化“客户端安装路径/Yarn/config/mapred-site.xml”文件中的如下参数： “mapreduce.reduce.memory.mb” “mapreduce.reduce.java.opts” 例如：如果10个mapper的数据大小为5GB，那么理想的堆内存是1

查看更多 →

业务增长快，数据量大，访问量增长迅速，对数据存储要求具备水平扩展能力。 DDS提供二级索引功能满足动态查询的需求，利用兼容MongoDB的MapReduce聚合框架进行多维度的数据分析。 优势： 写性能：文档数据库的高性能写入，基于分片构建的集群支持物联网TB级的数据需求。 高性

查看更多 →

MongoDB->DDS实时迁移 全量迁移失败报错，关键词“Prematurely reached end of stream” 全量迁移失败报错，关键词“not authorized on *** to execute command {***}” 全量迁移失败报错，关键词“GC

查看更多 →

接入MongoDB数据源 概述 应用模型支持把MongoDB作为一种数据源类型，并用于模型采集。在使用MongoDB数据源前，您需要先接入数据源。 接入MongoDB数据源只适用于旧版模型采集。 操作步骤 在开天 集成工作台 界面中，选择左侧导航栏中的“应用模型 > 实例管理”。 单

查看更多 →

vCPUs | 32GB - DRS迁移任务 迁移任务名 DRS-dds 自定义。 源数据库引擎 MongoDB 本示例中源数据库为自建MongoDB，即在 本地服务器 上安装社区版MongoDB。 目标数据库引擎 DDS 本示例中目标数据库为华为云DDS实例。 网络类型 公用网络 本示例中采用公用网络。

查看更多 →

Streams（MongoDB 4.0+）模式时，DRS内部迁移使用MongoDB特性Change Streams。使用该模式应注意以下几个方面： Change Streams订阅数据过程会消耗源数据库一定量的CPU，内存资源，请提前做好源数据库资源评估。 受MongoDB Change

查看更多 →

文档数据库（MongoDB） 文档数据库（MongoDB）为用户提供常见的文档数据操作管理功能，如查询文档、删除文档、更新文档等。完全兼容MongoDB协议，可以访问MongoDB数据库。包含“创建集合”、“删除集合”、“删除文档”等执行动作。 连接参数 创建文档数据库连接时连接

查看更多 →

将MongoDB同步到DDS 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建Mongo数据库（3.2、3.4、3.6、4.0、4.2、4.4、5.0版本） E CS 自建Mongo数据库（3.2、3.4、3.6、4.0、4.2、4.4、5.0版本） 其他云上Mongo数据库（3

查看更多 →

行对比时，集群实例如果存在孤儿文档或者正在进行chunk同步，会导致返回的行数不准确，对比结果不一致。详细情况可参考MongoDB官方文档。 操作步骤 本小节以DDS到MongoDB的出云单增量实时同步为示例，介绍如何使用 数据复制服务 配置实时同步任务。 在“实时同步管理”页面，单击“创建同步任务”。

查看更多 →

的转发目标MongoDB。 参考下表参数说明，填写规则内容。以下参数取值仅为示例，您可参考数据转发简介填写具体的流转规则参数，填写完成后单击“创建规则”。 参数名 参数说明 规则名称 自定义，如iotda-mongodb。 规则描述 自定义，如数据转发至MongoDB存储。 数据来源

查看更多 →

配置MongoDB/DDS源端参数 从MongoDB、DDS迁移数据时，CDM会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。 作业中源连接为MongoDB连接时，即从本地MongoDB或DDS导出数据时，源端作业参数如表1所示。

查看更多 →

用户需要关注实例的哪些参数 参数相关说明如下： 各参数的详细说明请参见MongoDB官网。 “net.maxIncomingConnections”依赖于实例的规格，实例规格不同对应其默认值也不同，因此，此参数在用户未设置前显示为“default”。 “disableJavaScriptJIT”和“security

查看更多 →

MongoDB监控管理 概述 MongoDB监控器可对用户业务使用的MongoDB数据库进行探测，并且在数据库异常时自动触发流量切换。 表1 监控状态说明 监控状态 状态说明 绿色 监控正常。 红色 监控异常。从正常到异常，在允许自动切换的情况下，自动触发流量切换。 黄色 初始化

查看更多 →

MongoDB Exporter接入 操作场景 使用MongoDB过程中需要对MongoDB运行状态进行监控，以便了解MongoDB服务是否运行正常，排查MongoDB故障问题原因。Prometheus监控服务提供了CCE容器场景下基于Exporter的方式来监控MongoDB运

查看更多 →

MongoDB Exporter接入 操作场景 使用MongoDB过程中需要对MongoDB运行状态进行监控，以便了解MongoDB服务是否运行正常，排查MongoDB故障问题原因。Prometheus监控服务提供了CCE容器场景下基于Exporter的方式来监控MongoDB运

查看更多 →

题。 优化了慢日志捕捉方式。 2023年7月 存储引擎压缩算法优化。 CreateIndex命令自动路由到主节点执行。 被动Compact同步逻辑优化。 修复MongoDB开源社区问题SERVER-39044导致的系统session表概率性刷新失败。 2023年6月 优化副本集针

查看更多 →

MapReduce性能调优 多CPU内核下的MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →

MapReduce性能调优 多CPU内核下MapReduce调优配置 配置MapReduce Job基线 MapReduce Shuffle调优 MapReduce大任务的AM调优 配置MapReduce任务推测执行 通过Slow Start调优MapReduce任务 MapReduce任务commit阶段优化

查看更多 →