自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在 数据仓库 服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

MongoDB采集器（app-discovery-mongodb） 采集MongoDB服务信息，获取客户端连接信息。参数配置说明参见表1。 表1 MongoDB采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果（app-discovery-mongodb-xxx

查看更多 →

分片集群MongoDB迁移前清除孤儿文档 什么是孤儿文档 MongoDB负载均衡器（Balancer）会根据集合的分片键(Shard key)均衡数据。Balancer的工作原理是：需要Balancer的数据块（Chunk）先复制到目标Shard，成功后再删除原Shard上的Ch

查看更多 →

类型 说明 fromJobConfig.database 是 String MongoDB/DDS的数据库名称。 fromJobConfig.collectionName 是 String MongoDB/DDS的集合名称。 fromJobConfig.columnList 否 String

查看更多 →

类型 说明 fromJobConfig.database 是 String MongoDB/DDS的数据库名称。 fromJobConfig.collectionName 是 String MongoDB/DDS的集合名称。 fromJobConfig.columnList 否 String

查看更多 →

MongoDB监控管理 概述 MongoDB监控器可对用户业务使用的MongoDB数据库进行探测，并且在数据库异常时自动触发流量切换。 表1 监控状态说明 监控状态 状态说明 绿色 监控正常。 红色 监控异常。从正常到异常，在允许自动切换的情况下，自动触发流量切换。 黄色 初始化

查看更多 →

MongoDB Exporter接入 操作场景 使用MongoDB过程中需要对MongoDB运行状态进行监控，以便了解MongoDB服务是否运行正常，排查MongoDB故障问题原因。Prometheus监控服务提供了CCE容器场景下基于Exporter的方式来监控MongoDB运

查看更多 →

MongoDB Exporter接入 操作场景 使用MongoDB过程中需要对MongoDB运行状态进行监控，以便了解MongoDB服务是否运行正常，排查MongoDB故障问题原因。Prometheus监控服务提供了CCE容器场景下基于Exporter的方式来监控MongoDB运

查看更多 →

MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码？ 回答 MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。 首先理解两个参数：“mapreduce.map.java

查看更多 →

MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码？ 回答 MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。 首先理解两个参数：“mapreduce.map.java

查看更多 →

内网采集权限与原理 主机深度采集 权限要求： Windows系统：需要提供具有Administrator权限的账号。 Linux系统：需要提供root账号。 采集原理： Windows系统：通过WinRM服务从Edge访问Windows主机，执行PowerShell脚本采集系统信息。

查看更多 →

接入MongoDB数据源 概述 应用模型支持把MongoDB作为一种数据源类型，并用于模型采集。在使用MongoDB数据源前，您需要先接入数据源。 接入MongoDB数据源只适用于旧版模型采集。 操作步骤 在开天 集成工作台 界面中，选择左侧导航栏中的“应用模型 > 实例管理”。 单

查看更多 →

MongoDB->DDS实时迁移 全量迁移失败报错，关键词“Prematurely reached end of stream” 全量迁移失败报错，关键词“not authorized on *** to execute command {***}” 全量迁移失败报错，关键词“GC

查看更多 →

用户需要关注实例的哪些参数 参数相关说明如下： 各参数的详细说明请参见MongoDB官网。 “net.maxIncomingConnections”依赖于实例的规格，实例规格不同对应其默认值也不同，因此，此参数在用户未设置前显示为“default”。 “disableJavaScriptJIT”和“security

查看更多 →

业务增长快，数据量大，访问量增长迅速，对数据存储要求具备水平扩展能力。 DDS提供二级索引功能满足动态查询的需求，利用兼容MongoDB的MapReduce聚合框架进行多维度的数据分析。 优势： 写性能：文档数据库的高性能写入，基于分片构建的集群支持物联网TB级的数据需求。 高性

查看更多 →

vCPUs | 32GB - DRS迁移任务 迁移任务名 DRS-dds 自定义。 源数据库引擎 MongoDB 本示例中源数据库为自建MongoDB，即在 本地服务器 上安装社区版MongoDB。 目标数据库引擎 DDS 本示例中目标数据库为华为云DDS实例。 网络类型 公用网络 本示例中采用公用网络。

查看更多 →

Streams（MongoDB 4.0+）模式时，DRS内部迁移使用MongoDB特性Change Streams。使用该模式应注意以下几个方面： Change Streams订阅数据过程会消耗源数据库一定量的CPU，内存资源，请提前做好源数据库资源评估。 受MongoDB Change

查看更多 →

文档数据库（MongoDB） 文档数据库（MongoDB）为用户提供常见的文档数据操作管理功能，如查询文档、删除文档、更新文档等。完全兼容MongoDB协议，可以访问MongoDB数据库。包含“创建集合”、“删除集合”、“删除文档”等执行动作。 连接参数 创建文档数据库连接时连接

查看更多 →

成功，仅显示已经开启DHCP的子网。 同步模式 DRS任务支持的同步模式，此处以“全量+增量”为示例。DRS全量、增量底层实现原理可参考产品架构和功能原理。 全量+增量：该模式为数据库持续性同步，适用于对业务中断敏感的场景，通过全量同步过程完成目标端数据库的初始化后，增量同步阶段

查看更多 →