优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 多并发JDBC客户端连接JD BCS erver 动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化 多级嵌套子查询以及混合Join的SQL调优

查看更多 →

提交代码到CodeArts Repo并创建合并请求 设置代码仓库级的合并请求规则 在CodeArts Repo编辑代码并提交合并请求 在Git Bash创建分支并开发代码 在Git客户端使用git-crypt传输敏感数据 在Eclipse提交代码并创建合并请求 配置CodeArts

查看更多 →

配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Saprk Driver执行结果 父主题： 使用Spark2x（ MRS 3.x及之后版本）

查看更多 →

在CodeArts Repo编辑代码并提交合并请求 进入要编辑的代码仓库首页，单击“代码”进入代码首页，基于要合入的代码分支新建一个分支。选择要基于修改的分支，根据您的选择进行编辑代码和新建合并请求： 如果要新增某个代码文件，单击“新建”，可以新建代码文件，也可以从本地上传单个代码文件，基于某个分

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

PO收货打印【合并】 【功能说明】 用于PC端采集点收并打印供应商到货物料的合并批次，并自动创建采购送货单及送货单明细 【操作步骤】 物料批次打印：选择供应商，选择采购单号，根据采购单号过滤产品料号，选择产品料号 -> 依次输入生产日期、生产批次、启动数量、备品启动数量、每包标准个数、每箱标准包数

查看更多 →

具体操作： 客户首先需要在【发货单管理】维护业务单据信息。 勾选两个订单，单击“确认发货”按钮，选择合并发货，选择合并发货的条件，以及生成的送货单的业务类型，若符合，合并发货的条件，两个发货单将合并生成一个送货订单。 图5 发货单管理 父主题： 实施步骤

查看更多 →

描述 默认值 mapreduce.reduce.merge.inmem.threshold 内存合并进程的文件数阈值。累计文件数达到阈值时会发起内存合并及溢出到磁盘。小于等于0的值表示该阈值不生效且仅基于ramfs的内存使用情况来触发合并。 1000 mapreduce.reduce

查看更多 →

描述 默认值 mapreduce.reduce.merge.inmem.threshold 内存合并进程的文件数阈值。累计文件数达到阈值时会发起内存合并及溢出到磁盘。小于等于0的值表示该阈值不生效且仅基于ramfs的内存使用情况来触发合并。 1000 mapreduce.reduce

查看更多 →

ion原理。 Structured Streaming，详见Structured Streaming原理。 小文件优化。 聚合算法优化。 Datasource表优化。 合并CBO优化。 父主题： Spark2x开源增强特性

查看更多 →

用非spark用户时需要对文件进行更改owner为Beeline端的用户，即实际用户。 如果查询的数据是大量的小文件将会产生大量map操作，从而导致输出存在大量的小文件，在执行重命名文件操作时将会耗费较多时间，此时可以通过设置“spark.sql.files.maxPartitionBytes”与“spark

查看更多 →

送货批号采集【合并】（PDA） 【功能说明】 用于采集供应商的非系统生成的物料批号，并与送货单绑定 【操作步骤】 查询送货单号：选择查询条件：开始日期和结束日期必选，默认为当前日期的前一个月，业务类型和工厂名称根据需要选择 -> 单击“获取送货单”按钮，查询出符合条件的送货单； 图1

查看更多 →

合并段(Java SDK) 功能说明 如果用户上传完所有的段，就可以调用合并段接口，系统将在服务端将用户指定的段合并成一个完整的对象。在执行“合并段”操作以前，用户不能下载已经上传的数据。在合并段时需要将多段上传任务初始化时记录的附加消息头信息拷贝到对象元数据中，其处理过程和普通

查看更多 →

用非spark用户时需要对文件进行更改owner为Beeline端的用户，即实际用户。 如果查询的数据是大量的小文件将会产生大量map操作，从而导致输出存在大量的小文件，在执行重命名文件操作时将会耗费较多时间，此时可以通过设置“spark.sql.files.maxPartitionBytes”与“spark

查看更多 →

作业开发 如何合并小文件 DLI 如何访问OBS桶中的数据 创建OBS表时正确指定OBS路径 关联OBS桶中嵌套的JSON格式数据如何创建表 count函数如何进行聚合 如何将一个区域中的DLI表数据同步到另一个区域中？ SQL作业如何指定表的部分字段进行表数据的插入 怎样删除表数据？

查看更多 →

Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力，包括小批量流式处

查看更多 →

Repo新建合并请求 进入要新建合并请求的代码仓库首页，选择“合并请求” > “新建”，选择要发起合并请求的源分支和目标分支。在“新建合并请求”页面的下方可以看到两条分支的文件差异对比详情、要合并分支的提交记录信息。 父主题： 提交代码到CodeArts Repo并创建合并请求

查看更多 →

合并本地上传文件 功能介绍 合并本地上传文件。 URI URI格式 GET /softcomai/datalake/collection/v1.0/upload/complete 参数说明 参数名 是否必选 参数类型 备注 uploadId 是 String 文件唯一标识。 请求

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

送货批次打印【合并】（PDA） 【功能说明】 用于PDA合并启动送货批号并打印，支持补印和删除； 【操作步骤】 送货单查询：输入查询条件：开始日期和结束日期必输，默认当前日期的前一个月，选择业务类型和工厂名称 -> 单击“获取单据列表”按钮，查询出符合条件的送货单列表； 图1 送货单查询

查看更多 →