作业开发 如何合并小文件 DLI 如何访问OBS桶中的数据 创建OBS表时正确指定OBS路径 关联OBS桶中嵌套的JSON格式数据如何创建表 count函数如何进行聚合 如何将一个区域中的DLI表数据同步到另一个区域中？ SQL作业如何指定表的部分字段进行表数据的插入 怎样删除表数据？

查看更多 →

合并本地上传文件 功能介绍 合并本地上传文件。 URI URI格式 GET /softcomai/datalake/collection/v1.0/upload/complete 参数说明 参数名 是否必选 参数类型 备注 uploadId 是 String 文件唯一标识。 请求

查看更多 →

数据集列合并 概述 将两个包含相同行数的数据集，按照列拼接，形成一个新的数据集。 输入 两个行数相同的数据集 参数 子参数 参数说明 inputs left_dataframe 数据集一，列合并后将在左边 right_dataframe 数据集二，列合并后将在右边 输出 数据集 参数说明

查看更多 →

数据集行合并 概述 多个数据集按照行合并为一个数据集。 输入 参数 子参数 参数说明 inputs dataframe_1 被合并的数据集一 dataframe_2 被合并的数据集二 dataframe_3 被合并的数据集三（可缺省） dataframe_4 被合并的数据集四（可缺省）

查看更多 →

管理合并请求 合并请求管理 解决合并请求的代码冲突 评审意见门禁详解 流水线门禁详解 E2E单号关联门禁详解 星级评价门禁详解 检视门禁详解 审核门禁详解 父主题： 使用代码托管仓库

查看更多 →

save("/tmp/tablePath") 追求高吞吐，无数据更新场景。 优点： 写入速度最快。 缺点： 无小文件合并能力。 无更新能力。 需要clustering合并小文件。 delete 删除操作 无需参数，直接使用delete语法即可： delete from tableName

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

送货批次打印【合并】（PDA） 【功能说明】 用于PDA合并启动送货批号并打印，支持补印和删除； 【操作步骤】 送货单查询：输入查询条件：开始日期和结束日期必输，默认当前日期的前一个月，选择业务类型和工厂名称 -> 单击“获取单据列表”按钮，查询出符合条件的送货单列表； 图1 送货单查询

查看更多 →

merge”，每次数据加载都可触发Minor合并。如果任意segment均可合并，那么合并将于数据加载时并行进行。 Minor合并有两个级别。 Level 1：合并未合并的segment。 Level 2：合并已合并的segment，以形成更大的segment。 Major合并： 在Major合并中，许多seg

查看更多 →

merge”，每次数据加载都可触发Minor合并。如果任意segment均可合并，那么合并将于数据加载时并行进行。 Minor合并有两个级别。 Level 1：合并未合并的segment。 Level 2：合并已合并的segment，以形成更大的segment。 Major合并： 在Major合并中，许多seg

查看更多 →

CDC源表、Postgres CDC源表、Redis源表、Upsert Kafka源表、Hbase源表。 Flink 1.12新增支持小文件合并功能。 Flink 1.12新增支持Redis维表、RDS维表。 父主题： 版本支持公告

查看更多 →

优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff

查看更多 →

为云，Teleport设备具有强大性能特征： 支持防尘防水、抗震抗压、安全锁； 支持NFS/CIFS/FTP数据源导入OBS； 支持小文件自动合并，提升读写效率； 军工级机箱，适应全天候物流场景，保障安全传输； 支持60TB/120TB可用容量； 支持2*10GE高速接口。 表1

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MRS MapReduce 功能 通过MRS MapReduce节点实现在MRS中执行预先定义的MapReduce程序。 参数 用户可参考表1和表2配置MRS MapReduce节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数

查看更多 →

Linux系统迁移，如何合并磁盘？ 场景描述 源端Linux系统迁移，想要将源端多个磁盘分区迁移到目的端后合并到一个磁盘内。 解决方案 通过在源端修改 SMS -Agent的配置文件，即可实现将源端多个磁盘中的分区迁移到目的端同一个磁盘内。 该方案对配置文件所做出的改动，仅涉及迁移后的目的端，不会对源端有影响。

查看更多 →

优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →