使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

说明 mongodb地址 MongoDB的IP地址，例如：10.0.0.1。 mongodb端口 MongoDB的端口号，例如：3306。 mongodb用户名 MongoDB的用户名称。 mongodb密码 MongoDB的密码。 单击“立即创建”，即可完成MongoDB插件接

查看更多 →

配置MongoDB源端参数 表1 MongoDB作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 数据库 输入或选择数据库名称，单击输入框后面的按钮可进入集合的选择界面。 是 default 集合名 输入或选择集合名，单击输入框后面的按钮可进入集合的选择界面。

查看更多 →

MRS MapReduce 功能 通过MRS MapReduce节点实现在MRS中执行预先定义的MapReduce程序。 参数 用户可参考表1和表2配置MRS MapReduce节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数

查看更多 →

配置Spark小文件自动合并 配置场景 小文件自动合并特性开启后，Spark将数据先写入临时目录，再去检测每个分区的平均文件大小是否小于16MB（默认值）。如果发现平均文件大小小于16MB，则认为分区下有小文件，Spark会启动一个Job合并这些小文件，并将合并后的大文件写入到最终的表目录下。

查看更多 →

类型 说明 fromJobConfig.database 是 String MongoDB/DDS的数据库名称。 fromJobConfig.collectionName 是 String MongoDB/DDS的集合名称。 fromJobConfig.columnList 否 String

查看更多 →

类型 说明 fromJobConfig.database 是 String MongoDB/DDS的数据库名称。 fromJobConfig.collectionName 是 String MongoDB/DDS的集合名称。 fromJobConfig.columnList 否 String

查看更多 →

MongoDB/DDS增量迁移 使用 CDM 导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。 如果配置了时间宏变量，通过 DataArts Studio 数据开发调度CDM迁移作业时，系统会将时间宏变量替

查看更多 →

MongoDB监控管理 概述 MongoDB监控器可对用户业务使用的MongoDB数据库进行探测，并且在数据库异常时自动触发流量切换。 表1 监控状态说明 监控状态 状态说明 绿色 监控正常。 红色 监控异常。从正常到异常，在允许自动切换的情况下，自动触发流量切换。 黄色 初始化

查看更多 →

MongoDB采集器（app-discovery-mongodb） 采集MongoDB服务信息，获取客户端连接信息。参数配置说明参见表1。 表1 MongoDB采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果（app-discovery-mongodb-xxx

查看更多 →

用户需要关注实例的哪些参数 参数相关说明如下： 各参数的详细说明请参见MongoDB官网。 “net.maxIncomingConnections”依赖于实例的规格，实例规格不同对应其默认值也不同，因此，此参数在用户未设置前显示为“default”。 “disableJavaScriptJIT”和“security

查看更多 →

OBS支持的Region与Endpoint的对应关系，详细信息请参见地区与终端节点。 如果上传了10个段，但合并时只选择了9个段进行合并，那么未被合并的段将会被系统自动删除，未被合并的段删除后不能恢复。在进行合并之前请使用列出已上传的段接口进行查询，仔细核对所有段，确保没有段被遗漏。 如果最后一个段

查看更多 →

合并前请确保HDFS上有足够的存储空间，至少需要被合并表大小的一倍以上。 合并表数据的操作需要单独进行，在此过程中读表，可能临时出现找不到文件的问题，合并完成后会恢复正常；另外在合并过程中请注意不要对相应的表进行写操作，否则可能会产生数据一致性问题。 如果合并完成后，在一直处于连接状态的spark-beeline/spark-sql

查看更多 →

MongoDB->DDS实时迁移 全量迁移失败报错，关键词“Prematurely reached end of stream” 全量迁移失败报错，关键词“not authorized on *** to execute command {***}” 全量迁移失败报错，关键词“GC

查看更多 →

接入MongoDB数据源 概述 应用模型支持把MongoDB作为一种数据源类型，并用于模型采集。在使用MongoDB数据源前，您需要先接入数据源。 接入MongoDB数据源只适用于旧版模型采集。 操作步骤 在开天 集成工作台 界面中，选择左侧导航栏中的“应用模型 > 实例管理”。 单

查看更多 →

合并文件（API名称：file/mergeFile） 功能介绍 该接口用于大文件的分片文件合并。 相关接口 接口名称 调用说明 获取Token 调用该接口获取到Token，再调用其他接口时，需要在请求消息头中添加“Authorization”，其值即为Token。 URL 请求方式

查看更多 →

云备份存储库可以合并吗？ 暂时不支持合并存储库。 您可以扩容其中一个存储库后，将另一存储库的资源迁移到前者即可。 具体操作请参见《云备份用户指南》扩容存储库和迁移存储库的资源章节。 父主题： 其他类

查看更多 →

参数类型 描述 id Integer 合并请求ID iid Integer 合并请求IID project_id Integer 仓库ID title String 标题 description String 描述 state String 合并请求状态 created_at String

查看更多 →

合并前请确保HDFS上有足够的存储空间，至少需要被合并表大小的一倍以上。 合并表数据的操作需要单独进行，在此过程中读表，可能临时出现找不到文件的问题，合并完成后会恢复正常；另外在合并过程中请注意不要对相应的表进行写操作，否则可能会产生数据一致性问题。 若合并完成后，在一直处于连接状态的spark-beeline/spark-sql

查看更多 →