CDM 围绕大数据迁移上云和 智能数据湖 解决方案，提供了简单易用的迁移能力和多种数据源到 数据湖 的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 CDM服务迁移Hadoop数据至 MRS 集群方案如图1所示。 图1 Hadoop数据迁移示意 方案优势 简单易用：免编程，向导式任

查看更多 →

源数据库的库名不能包含/\."$和空格，集合名和视图名中不能包含$字符或以system.开头。 多个源数据库迁移到同一个目标数据库时，所选的待迁移数据库的库名不能重复。 副本集：MongoDB数据库的副本集实例状态必须正常，要存在主节点。 使用限制 通用： 整个迁移过程中，不允许修改、删除连接源和目标数据

查看更多 →

加新记录。 新增 导入前准备语句 执行任务前需要先执行的MongoDB查询语句。 说明： “导入前准备语句”格式是json，只有两个键值对，第一个键值对是配置操作类别，key是"type"，value只支持"remove"和"drop"。第二个键值对是针对不同操作类别，需要配置的数据条件或者集合名称。

查看更多 →

MongoDB连接参数说明 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或E CS 上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行

查看更多 →

该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过 DataArts Studio 数据开发调度CDM迁移作业时，系统会将时间宏变量替

查看更多 →

加新记录。 新增 导入前准备语句 执行任务前需要先执行的MongoDB查询语句。 说明： “导入前准备语句”格式是json，只有两个键值对，第一个键值对是配置操作类别，key是"type"，value只支持"remove"和"drop"。第二个键值对是针对不同操作类别，需要配置的数据条件或者集合名称。

查看更多 →

登录MRS客户端，将下载的ES-Hadoop和httpclient的jar依赖包上传到MRS客户端。 在MRS客户端创建HDFS目录，将ES-Hadoop lib包和httpclient依赖包上传到该目录下。 hadoop fs -mkdir /tmp/hadoop-es hadoop fs -put

查看更多 →

/bin 配置生效 source /etc/profile 启动 NameServer 和 Broker： 在 ROCKETMQ_HOME 目录下，使用以下命令启动 NameServer 和 Broker nohup sh bin/mqnamesrv & nohup sh bin/mqbroker

查看更多 →

数模板。 如何购买集群实例？ 详情请参见购买集群实例。 如何变更集群实例的CPU和内存？ 集群实例可以变更dds mongos节点和shard节点的CPU和内存，具体操作请参见变更集群实例的CPU和内存。 如何扩容集群实例的磁盘空间？ 集群实例可以对shard节点进行磁盘扩容，具体操作请参见扩容存储。

查看更多 →

MongoDB连接迁移失败时如何处理？ 在默认情况下，userAdmin角色只具备对角色和用户的管理，不具备对库的读和写权限。 当用户选择MongoDB连接迁移失败时，用户需查看MongoDB连接中用户的权限信息，确保对指定库具备ReadWrite权限。 父主题： 故障处理类

查看更多 →

MongoDB数据连接参数说明 表1 MongoDB数据连接 参数 是否必选 说明 数据连接类型 是 MongoDB连接固定选择为MongoDB。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。

查看更多 →

maxIncomingConnections”的值进行调整，如何调整参数值请参见编辑参数模板。 如何变更单节点实例的CPU和内存？ 单节点实例变更CPU和内存的具体操作请参见变更单节点实例的CPU和内存。 如何扩容单节点实例的磁盘空间？ 单节点实例磁盘扩容的具体操作请参见扩容存储。 父主题： 实例规格

查看更多 →

目录及配置说明 本地目录、配置文件和配置信息非固定，可由用户自定义。 以如下2个shardsvr的集群实例的备份文件举例（实例ID：cac1efc8e65e42ecad8953352321bfeein02） configsvr节点备份文件解压目录：/compile/downloa

查看更多 →

e"); // 认证用的用户名和密码直接写到代码中有很大的安全风险，建议在配置文件或者环境变量中存放(密码应密文存放、使用时解密)，确保安全； // 本示例以用户名和密码保存在环境变量中为例，运行本示例前请先在本地环境中设置

查看更多 →

用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。 当前创建HTTP连接时，只需要配置连接名称，具体URL在创建作业时配置。 MongoDB 连接本地MongoDB数据库时，具体参数请参见MongoDB连接参数说明。 文档数据库服务（DDS） 连接DDS时，具体参数请参见DDS连接参数说明。

查看更多 →

d Document）。 迁移影响 DRS在迁移集群时，会从Shard上抽取全量数据。正常文档和孤儿文档在不同的Shard上，DRS不会感知，都会迁移到目标库。DRS针对MongoDB迁移的冲突策略为忽略，因此最终目标库上的文档取决于哪个文档先被迁过去，会造成数据内容或行数不一致。

查看更多 →

您可以通过编写代码调用API来访问文档数据库服务，具体操作请参见《文档数据库服务API参考》。 兼容的引擎和版本 文档数据库服务兼容的引擎和版本，请参见引擎和版本。 部署建议 建议从以下维度考虑如何创建并使用文档数据库服务。 区域和可用区：区域和可用区决定了文档数据库实例所在的物

查看更多 →

用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。 当前创建HTTP连接时，只需要配置连接名称，具体URL在创建作业时配置。 MongoDB 连接本地MongoDB数据库时，具体参数请参见MongoDB连接参数说明。 文档数据库服务（DDS） 连接DDS时，具体参数请参见DDS连接参数说明。

查看更多 →

连接数据库的 弹性云服务器 必须和DDS实例之间网络互通，可以使用curl命令连接DDS实例服务端的IP和端口号，测试网络连通性。 curl ip:port 返回“It looks like you are trying to access MongoDB over HTTP on the native driver

查看更多 →

add(serverAddress); // 认证用的用户名和密码直接写到代码中有很大的安全风险，建议在配置文件或者环境变量中存放(密码应密文存放、使用时解密)，确保安全； // 本示例以用户名和密码保存在环境变量中为例，运行本示例前请先在本地环境中设置

查看更多 →

数值请参见编辑参数模板。 如何购买副本集实例？ 详情请参见购买副本集实例。 如何变更副本集实例的CPU和内存？ 副本集实例变更CPU和内存的具体操作请参见变更副本集实例的CPU和内存。 如何扩容副本集实例的磁盘空间？ 副本集实例磁盘扩容的具体操作请参见扩容存储。 父主题： 实例规格

查看更多 →