使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格

查看更多 →

配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务，且大部分服务的存储都依赖于HDFS文件系统。当集群运行时，不同组件（例如Spark、Yarn）或客户端可能会向同一个HDFS目录不断写入文件。但HDFS系统支持的单目录文件数目是有上限的，因此用户需要提前做好规划

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格

查看更多 →

配置HDFS文件回收站机制 配置场景 在HDFS中，如果删除HDFS的文件，删除的文件将被移动到回收站（trash）中，不会被立即清除，以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件，会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站

查看更多 →

Flink业务程序无法读取NFS盘上的文件 用户问题 Flink业务程序无法读取集群节点挂载的NFS盘上的文件。 问题现象 用户开发的Flink业务程序中需要读取用户定义的配置文件，该配置文件放在NFS盘上，NFS盘是挂载在集群节点上的，集群的所有节点均可以访问该盘。用户提交Fl

查看更多 →

配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在 服务器 端由某些其他客户端完成的数据修改，对于高速缓存的客户端将是不可见的，这可能导致从缓存中拿到的元数据是过期的。 本章节适用于 MRS

查看更多 →

如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户

查看更多 →

File、HDFS等。最常用的是HDFS，用户可以一次读取大规模的数据进行并行计算。在计算完成后，也可以将数据存储到HDFS。 分解来看，Spark分成控制端（Driver）和执行端（Executor）。控制端负责任务调度，执行端负责任务执行。 读取文件的过程如图1所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示：

查看更多 →

ALM-14006 HDFS文件数超过阈值 告警解释 系统每30秒周期性检测HDFS文件数，并把实际文件数和阈值相比较。当检测到HDFS文件数指标超出阈值范围时产生该告警。 平滑次数为1，HDFS文件数指标的值小于或等于阈值时，告警恢复；平滑次数大于1，HDFS文件数指标的值小于或等于阈值的90%时，告警恢复。

查看更多 →

384 MB 可能原因 目录配置的剩余的空间小于写文件实际需要的空间。 原因分析 HDFS支持设置某目录的配额，即限制某目录下的文件最多占用空间大小，例如如下命令是设置“/tmp/tquota”目录最多写入150MB的文件（文件大小*副本数）。 hadoop dfsadmin -setSpaceQuota

查看更多 →

使用Hue WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时，报如下图所示无法访问的错误提示，该如何处理？ 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装

查看更多 →

使用moxing适配OBS路径，pandas读取文件报错 问题现象 使用moxing适配OBS路径，然后用较高版本的pandas读取OBS文件报出如下错误： 1.‘can't decode byte xxx in position xxx’ 2.‘OSError:File isn't

查看更多 →

HDFS客户端写文件close失败 问题背景与现象 HDFS客户端写文件close失败，客户端提示数据块没有足够副本数。 客户端日志： 2015-05-27 19:00:52.811 [pool-2-thread-3] ERROR: /tsp/nedata/collect/UGW

查看更多 →

使用Hue WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时，报如下图所示无法访问的错误提示，该如何处理？ 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装

查看更多 →

on device”。 同一目录下创建较多文件，为了加快文件检索速度，内核会创建一个索引表，短时间内创建较多文件时，会导致索引表达到上限，进而报错。 触发条件和下面的因素有关： 文件名越长，文件数量的上限越小 blocksize越小，文件数量的上限越小。（ blocksize，系统默认

查看更多 →

写时复制表也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。

查看更多 →

写时复制表也简称cow表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。

查看更多 →

开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 创建HDFS目录 创建HDFS文件并写入内容 追加信息到HDFS指定文件 读取HDFS指定文件内容 删除HDFS指定文件 删除HDFS指定目录 创建HDFS多线程任务 配置HDFS存储策略 配置HDFS同分布策略（Colocation）

查看更多 →

变量读取规则 无论是手工输入方式还是文件变量导入的方式添加变量，选择不同的变量读取模式和变量共享模式时变量读取规则如下表1。 表1 变量读取规则 变量读取模式 变量共享模式 概述 举例 顺序模式 用例模式 每个并发按顺序读取一个变量值。 例如，10并发压力模式下的任务，在执行过程中，不同并发按照顺序读取变量中的值。

查看更多 →