在一些很难解决的问题： 如果把海量小文件直接保存在HDFS中，会给NameNode带来极大的压力。 由于HBase接口以及内部机制的原因，一些较大的文件也不适合直接保存到HBase中。 HFS的出现，就是为了解决需要在Hadoop中存储海量小文件，同时也要存储一些大文件的混合场景

查看更多 →

Native引擎 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 配置Spark Executor退出时执行自定义代码 配置Spark动态脱敏

查看更多 →

用Append功能。 不适用HDFS场景可以考虑使用其他方式来存储数据，如HBase。 HDFS不适用于存储大量小文件 HDFS不适用于存储大量的小文件，因为大量小文件的元数据会占用NameNode的大量内存。 HDFS中数据的备份数量3份即可 DataNode数据备份数量3份即

查看更多 →

从报错堆栈可以看出是任务在提交过程中分片时在读取HDFS文件阶段内存溢出了，一般是由于该任务要读取的小文件很多导致内存不足。 解决办法 排查启动的MapReduce任务是否对应的HDFS文件个数很多，如果很多，减少文件数量，提前先合并小文件或者尝试使用combineInputFormat来减少任务读取的文件数量。

查看更多 →

该现象可能由多个原因造成，如网络带宽、源端存在大量小文件、linux文件迁移同步阶段差异比较等。 解决方案 检查源端及目的端带宽，迁移过程中尽可能提高带宽。在不影响业务的情况下，尽可能提供充裕的带宽给迁移进程。 检查源端是否存在大量小文件，请尽可能清理一些可删除文件。 Linux文件

查看更多 →

件中包含AK和SK。 添加对象存储服务（OBS）数据源 登录 DLV 管理控制台。 在“我的数据”页面，单击页面最上方的工作空间下拉列表并选择所需访问的工作空间，然后单击“新建数据连接”。 图1 新建连接 在“新建数据连接”窗口中，选择数据源类型为“对象存储服务 OBS”，然后配置相关参数。

查看更多 →

持申请开通。 设置单个对象存储OBS接入LTS 登录云日志服务控制台。 在左侧导航栏中，选择“接入 > 接入中心”，单击“云服务接入-对象存储OBS”进行OBS接入配置。 或在左侧导航栏中，选择“接入 > 接入管理 > 接入日志”，单击“云服务接入-对象存储OBS”进行OBS接入配置。

查看更多 →

Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 文件系统无法正常写入。 可能原因 磁盘小文件过多。 系统环境异常。 处理步骤 磁盘小文件过多。 登录 MRS 集群详情页面，选择“告警管理”。 在实时告警列表中，单击此告警。在“告警详情”区域，获取告警所在主机地址和磁盘分区。

查看更多 →

媒体处理只能服务同一区域的OBS桶中的音视频文件，如若您需要使用“华北-北京四”的媒体处理服务，则存储音视频文件的OBS桶就必须是在“华北-北京四”区域。 操作步骤 登录对象存储服务控制台。 单击“创建桶”，用来存储媒体处理服务的媒体文件。 在创建桶页面选择区域，输入桶名称，根据业务需要配置存储类别、桶策略等参数。

查看更多 →

大量数据文件，训练过程中读取数据效率低？ 当数据集存在较多数据文件（即海量小文件），数据存储在OBS中，训练过程需反复从OBS中读取文件，导致训练过程一直在等待文件读取，效率低。 解决方法 建议将海量小文件，在本地压缩打包。例如打包成.zip格式。 将此压缩后的文件上传至OBS。

查看更多 →

对系统的影响 业务失败：文件系统无法正常写入时，如果需要修改或使用该磁盘上的数据，可能会导致作业运行失败。 可能原因 磁盘写入的小文件过多。 处理步骤 磁盘写入的小文件过多。 打开 FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，获取告警所在主机地址和磁盘分区。

查看更多 →

适用于对象存储服务（OBS）的最佳实践 该示例模板中对应的合规规则的说明如下表所示： 表1 合规包示例模板说明 合规规则 规则中文名称 涉及云服务 规则描述 obs-bucket-public-read-policy-check OBS桶禁止公开读 obs 桶可以被公开读，视为“不合规”

查看更多 →

Connector方式。 在Flink实时写入数据到Doris的场景下，CheckPoint设置的时间需要考虑每批次数据量，如果每批次数据太小会造成大量小文件，推荐值为60s。 建议不使用insert values作为数据写入的主要方式，批量数据导入推荐使用StreamLoad、BrokerLoad或SparkLoad。

查看更多 →

Server提供共享的网站源码目录，存储，提供低延迟，高IOPS的并发共享访问能力。业务特点： 大量小文件：存放网站静态文件，包括HTML文件，Json文件，静态图片等。 读I/O密集：业务以小文件读为主，数据写入相对较少。 多个Web Server访问同一个SFS Turbo后台，实现网站业务的高可用。

查看更多 →

GC”关键字，查看日志中是否有时间连续，并且频繁出现“Full GC”的日志信息。 图5 Full GC日志 FullGC问题原因定位和解决： 原因1 小文件过多：当一个表中的小文件过多时，可能会造成Driver内存FullGC。 登录 DLI 控制台，选择SQL编辑器，在SQL编辑器页面选择问题作业的队列和数据库。

查看更多 →

Server提供共享的网站源码目录，存储，提供低延迟，高IOPS的并发共享访问能力。业务特点： 大量小文件：存放网站静态文件，包括HTML文件，Json文件，静态图片等。 读I/O密集：业务以小文件读为主，数据写入相对较少。 多个Web Server访问同一个SFS Turbo后台，实现网站业务的高可用。

查看更多 →

配置Spark HA增强高可用 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 父主题： 使用Spark2x（MRS 3.x及之后版本）

查看更多 →

SparkSession，详见SparkSession原理。 Structured Streaming，详见Structured Streaming原理。 小文件优化。 聚合算法优化。 Datasource表优化。 合并CBO优化。 父主题： Spark2x

查看更多 →

)组成，且长度范围为0-64个字符。 是否压缩 压缩后可以减少对象存储空间的使用量。 不压缩：按照 *.json格式转储。 gzip：按照*.json.gz格式转储。 路径按云服务划分 “路径按云服务划分”开关打开后，转储文件路径中将增加云服务名，OBS同时出现多个小文件。例如：/CloutTrace/cn

查看更多 →

快速供给，弹性扩展，方便灵活等特点，适用于海量小文件业务，例如DevOps、容器微服务、企业办公等应用场景。 SFS Turbo为用户提供一个完全托管的共享文件存储，能够弹性伸缩至320TB规模，具备高可用性和持久性，为海量的小文件、低延迟高IOPS型应用提供有力支持。 符合标准

查看更多 →

快速供给，弹性扩展，方便灵活等特点，适用于海量小文件业务，例如DevOps、容器微服务、企业办公等应用场景。 SFS Turbo为用户提供一个完全托管的共享文件存储，能够弹性伸缩至320TB规模，具备高可用性和持久性，为海量的小文件、低延迟高IOPS型应用提供有力支持。 符合标准

查看更多 →