MongoDB连接 介绍 通过MongoDB连接，可以对MongoDB 服务器 抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":

查看更多 →

描述 默认值 mapreduce.reduce.merge.inmem.threshold 内存合并进程的文件数阈值。累计文件数达到阈值时会发起内存合并及溢出到磁盘。小于等于0的值表示该阈值不生效且仅基于ramfs的内存使用情况来触发合并。 1000 mapreduce.reduce

查看更多 →

描述 默认值 mapreduce.reduce.merge.inmem.threshold 内存合并进程的文件数阈值。累计文件数达到阈值时会发起内存合并及溢出到磁盘。小于等于0的值表示该阈值不生效且仅基于ramfs的内存使用情况来触发合并。 1000 mapreduce.reduce

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

说明 MongoDB地址 MongoDB的IP地址，例如：10.0.0.1。 MongoDB端口 MongoDB的端口号，例如：3306。 MongoDB用户名 MongoDB的用户名称。 MongoDB密码 MongoDB的密码。 单击“立即创建”，即可完成MongoDB插件接

查看更多 →

配置MongoDB连接 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或E CS 上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程

查看更多 →

送货批号采集【合并】（PDA） 【功能说明】 用于采集供应商的非系统生成的物料批号，并与送货单绑定 【操作步骤】 查询送货单号：选择查询条件：开始日期和结束日期必选，默认为当前日期的前一个月，业务类型和工厂名称根据需要选择 -> 单击“获取送货单”按钮，查询出符合条件的送货单； 图1

查看更多 →

合并段(Java SDK) 功能说明 如果用户上传完所有的段，就可以调用合并段接口，系统将在服务端将用户指定的段合并成一个完整的对象。在执行“合并段”操作以前，用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中，其处理过程和普通

查看更多 →

禁止Squash合并 勾选后，“Squash合并”按钮被禁止，且合并请求中无该功能使用入口。 新建合并请求，默认开启Squash合并 Squash合并是指Git在做两个分支间的合并时，会把被合并分支上的所有变更“压缩（squash）”成一个提交，追加到当前分支的后面作为“合并提交”（merge

查看更多 →

如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 设置配置项。 spark.sql.shuffle.partitions = 分区数量（即此场景下最终生成的文件数量） 执行SQL。 INSERT OVERWRITE

查看更多 →

合并本地上传文件 功能介绍 合并本地上传文件。 URI URI格式 GET /softcomai/datalake/collection/v1.0/upload/complete 参数说明 参数名 是否必选 参数类型 备注 uploadId 是 String 文件唯一标识。 请求

查看更多 →

合并请求模板 该功能仅支持“专业版套餐”及“铂金版套餐”用户。 合并请求模板位于仓库详情中的 “设置 > 模板管理 > 合并请求模板”。当创建合并请求时，您可以选择一个合并请求模板，模板内容将会自动应用到合并请求上。 此设置只针对被设置的仓库生效。 只有仓库管理员和仓库所有者能看到这个页面且有设置权限。

查看更多 →

数据集列合并 概述 将两个包含相同行数的数据集，按照列拼接，形成一个新的数据集。 输入 两个行数相同的数据集 参数 子参数 参数说明 inputs left_dataframe 数据集一，列合并后将在左边 right_dataframe 数据集二，列合并后将在右边 输出 数据集 参数说明

查看更多 →

数据集行合并 概述 多个数据集按照行合并为一个数据集。 输入 参数 子参数 参数说明 inputs dataframe_1 被合并的数据集一 dataframe_2 被合并的数据集二 dataframe_3 被合并的数据集三（可缺省） dataframe_4 被合并的数据集四（可缺省）

查看更多 →

配置MongoDB连接 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程

查看更多 →

支持扩容减容、实例迁移、升级、健康检查等。 MapReduce开源增强特性：特定场景优化MapReduce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分

查看更多 →

MongoDB/DDS增量迁移 使用 CDM 导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。 如果配置了时间宏变量，通过 DataArts Studio 数据开发调度CDM迁移作业时，系统会将时间宏变量替

查看更多 →

MongoDB/DDS增量迁移 使用CDM导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替

查看更多 →

管理合并请求 合并请求管理 解决合并请求的代码冲突 评审意见门禁详解 流水线门禁详解 E2E单号关联门禁详解 星级评价门禁详解 检视门禁详解 审核门禁详解 父主题： 使用代码托管仓库

查看更多 →

MongoDB/DDS增量迁移 使用CDM导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替

查看更多 →

类型 说明 fromJobConfig.database 是 String MongoDB/DDS的数据库名称。 fromJobConfig.collectionName 是 String MongoDB/DDS的集合名称。 fromJobConfig.columnList 否 String

查看更多 →