配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务，且大部分服务的存储都依赖于HDFS文件系统。当集群运行时，不同组件（例如Spark、Yarn）或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的，因此用户需要提前做好规划

查看更多 →

使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格

查看更多 →

配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务，且大部分服务的存储都依赖于HDFS文件系统。当集群运行时，不同组件（例如Spark、Yarn）或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的，因此用户需要提前做好规划

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

API、WEB UI五种方式，可参考常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。

查看更多 →

API、WEB UI五种方式，可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。

查看更多 →

API、WEB UI五种方式，可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。

查看更多 →

HDFS日志文件过大导致OS盘空间不足 用户问题 OS盘/var/log分区空间不足。 问题现象 “/var/log/Bigdata/hdfs/*/hdfs-omm-*.out”日志文件过大，造成OS盘/var/log分区空间不足。 原因分析 在HDFS长时间运行场景下，操作系统会把JVM创建的“/tmp/

查看更多 →

处理措施 文件系统和挂载的 服务器 不在同一个可用区 在与服务器相同的可用区新建一个文件系统，将另一可用区的文件系统数据迁移至新文件系统后，再将新文件系统挂载至服务器。 使用场景与文件系统类型不匹配 结合业务场景，参考文件系统类型，选择正确的文件系统类型。 SFS容量型文件系统容量较小

查看更多 →

文件系统自动断开挂载 问题描述 文件系统与服务器的连接断开，需要重新挂载。 可能原因 没有配置自动挂载，重启服务器后会自动断开。 解决方法 参考自动挂载文件系统，在 云服务器 设置重启时进行自动挂载。 提交工单 如果上述方法均不能解决您的疑问，请提交工单寻求更多帮助。

查看更多 →

并行文件系统 并行文件系统（Parallel File System）是 对象存储服务 （Object Storage Service，OBS）提供的一种经过优化的高性能文件语义系统，提供毫秒级别访问时延，TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载，主要应用于大数据场景。

查看更多 →

通用文件系统API说明 文件共享 共享访问规则 标签

查看更多 →

文件系统配额管理 默认情况下，SFS对文件系统的使用容量是没有限制的。为了让用户对容量和资源进行合理的分配和管理，通用文件系统支持对文件系统进行配额管理，包括设置配额、删除配额。 通用文件系统设置配额包括设置容量配额和文件数限制。 约束限制 由于配额的校验依赖于文件系统存量，而文

查看更多 →

文件系统自动断开挂载 问题描述 文件系统与服务器的连接断开，需要重新挂载。 可能原因 没有配置自动挂载，重启服务器后会自动断开。 解决方法 参考自动挂载文件系统，在云服务器设置重启时进行自动挂载。 提交工单 如果上述方法均不能解决您的疑问，请提交工单寻求更多帮助。

查看更多 →

文件系统指标及其维度 表1 文件系统指标 指标名称 指标含义 取值范围 单位 可用磁盘空间（aom_node_disk_available_capacity_megabytes） 还未经使用的磁盘空间。 ≥0 兆字节（MB） 磁盘空间容量（aom_node_disk_capacity_megabytes）

查看更多 →

文件系统输出流(推荐） 功能描述 创建sink流将数据输出到分布式文件系统(HDFS)或者对象存储服务（OBS）等文件系统。数据生成后，可直接对生成的目录创建非 DLI 表，通过DLI SQL进行下一步处理分析，并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。

查看更多 →

通用文件系统快速入门 创建文件系统 获取文件系统列表

查看更多 →

文件系统输出流(推荐） 功能描述 创建sink流将数据输出到分布式文件系统(HDFS)或者对象存储服务（OBS）等文件系统。数据生成后，可直接对生成的目录创建非DLI表，通过DLI SQL进行下一步处理分析，并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。

查看更多 →

并行文件系统 并行文件系统概述 并行文件系统支持的特性 并行文件系统约束限制 创建并行文件系统

查看更多 →

排查思路 可能原因 处理措施 文件系统和挂载的服务器不在同一个可用区 在与服务器相同的可用区新建一个文件系统，将另一可用区的文件系统数据迁移至新文件系统后，再将新文件系统挂载至服务器。 使用场景与文件系统类型不匹配 结合业务场景，参考文件系统类型，选择正确的文件系统类型。 并发数过高或过低

查看更多 →

文件系统格式化 SAP HANA主备服务器系统格式化 SAP S/4HANA主备服务器系统格式化 父主题： 资源创建

查看更多 →