小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 设置配置项。 spark.sql.shuffle.partitions = 分区数量（即此场景下最终生成的文件数量） 执行SQL。 INSERT OVERWRITE

查看更多 →

使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因

查看更多 →

使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因

查看更多 →

committer小文件写性能 提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性，当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导

查看更多 →

对象存储（OBS） 对象存储概述 通过静态存储卷使用已有对象存储 通过动态存储卷使用对象存储 设置对象存储挂载参数 对象存储卷挂载设置自定义访问密钥（AK/SK） 父主题： 存储

查看更多 →

对象存储卷 云容器实例支持将对象存储卷挂载到容器中。 对象存储服务（OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。OBS的更多信息，请参见对象存储服务。 使用限制 待挂载的对象存储必须是按需付费，更多信息，请参见请参见对象存储计费。 请

查看更多 →

设置为true，Spark写入目标表时会判断是否写入了小文件，如果发现有小文件，则会启动合并小文件的job。 false spark.sql.mergeSmallFiles.threshold.avgSize 如果某个分区的平均文件大小小于该值，则启动小文件合并。 16MB spark.sql.mergeSmallFiles

查看更多 →

对象存储（OBS） 对象存储概述 通过静态存储卷使用已有对象存储 通过动态存储卷使用对象存储 设置对象存储挂载参数 对象存储卷挂载设置自定义访问密钥（AK/SK） 跨区域使用OBS桶 父主题： 存储

查看更多 →

对象存储卷 对象存储卷概述 使用kubectl自动创建对象存储 使用kubectl对接已有对象存储 使用kubectl部署带对象存储卷的无状态工作负载 使用kubectl部署带对象存储卷的有状态工作负载 父主题： 存储管理-Flexvolume（已弃用）

查看更多 →

System）是对象存储服务的子产品，是经过优化的高性能文件语义系统，主要应用于大数据场景。详细介绍请参见什么是并行文件系统。 关于对象存储的详细介绍，请以对象存储类别为准。 性能说明 容器负载挂载对象存储时，每挂载一个对象存储卷，后端会产生一个常驻进程。当负载使用对象存储数过多或大量

查看更多 →

System）是对象存储服务的子产品，是经过优化的高性能文件语义系统，主要应用于大数据场景。详细介绍请参见什么是并行文件系统。 关于对象存储的详细介绍，请以对象存储类别为准。 性能说明 容器负载挂载对象存储时，每挂载一个对象存储卷，后端会产生一个常驻进程。当负载使用对象存储数过多或大量

查看更多 →

优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff

查看更多 →

对象存储迁移流程 您可直接登录管理控制台进行对象存储迁移操作，迁移流程如图1所示。 图1 对象存储迁移流程 具体说明： 创建源端和目的端的访问密钥（AK/SK）。 源端：参见源端云服务提供商的相关资料。 目的端：参见创建访问密钥（AK/SK）。 在对象存储服务中创建用于存放迁移数据的桶。

查看更多 →

在左侧导航树中选择“资源管理 > 存储管理”，选择“对象存储卷”页签，单击“导入”。 在弹出的“导入对象存储”对话框中，从列表里选择要导入的对象存储（dbss-audit-agent-{projectid}）。 图2 “导入对象存储”对话框 按表1所示信息选择导入对象存储的集群和命名空间，如图2所示。

查看更多 →

源端为对象存储 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig

查看更多 →

对接对象存储代理 背景信息 当对不同存储类型（OBS或MINIO）中的对象实例进行操作时，为了实现实例格式的兼容性，需要对不同存储类型中的对象实例配置存储代理连接器。 新建对象存储代理连接器 参考创建连接器入口中操作，进入创建连接器页面。 在左侧列表中，选择“存储 > 对象存储代理”，单击“+”。

查看更多 →

对象存储服务 对象存储服务连接器用于对接华为云对象存储服务。 对象存储服务（Object Storage Service，简称OBS）是一个基于对象的海量存储服务，为您提供海量、安全、高可靠、低成本的数据存储能力。 创建对象存储服务连接 登录新版ROMA Connect控制台。

查看更多 →

源端为对象存储 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig

查看更多 →

专属对象存储 专属对象存储是专属云资源下的对象存储服务。对象存储服务可以申请独享的专属物理主机资源，从而满足您对隔离性、安全性、性能的更高要求。 图1 专属对象存储 购买专属对象存储 专属云的申请和开通是线下进行的，开通专属云后才能购买专属对象存储，购买方法请参见如何购买专属对象存储。 对象

查看更多 →