</dependency> 方式二： 将“hdfs-site.xml”配置文件里面的参数dfs.client.failover.proxy.provider.hacluster改为与开源一致的值“org.apache.hadoop.hdfs.server.namenode.ha.C

查看更多 →

需要Kerberos客户端、keytab路径、Kerberos认证用户名称、客户端配置krb5.conf文件。 原理结构图 Kerberos原理架构图如下图所示，详细介绍请参见 MRS 服务的安全认证原理以及认证机制章节。 图1 原理架构图 表1 参数说明 参数 说明 Application Client 应用客

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

配置HDFS文件回收站机制 配置场景 在HDFS中，如果删除HDFS的文件，删除的文件将被移动到回收站（trash）中，不会被立即清除，以便在误操作的情况下恢复被删除的数据。被删除的文件在超过老化时间后将变为老化文件，会基于系统机制清除或用户手动清除。 您可以设置文件保留在回收站

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

待迁移的存量数据及数据量统计 如果使用HDFS作为文件存储系统，可以通过客户端执行hadoop fs -du -h HDFS文件目录命令统计路径下的文件大小。 表4 现有数据量统计 大数据组件 待迁移数据的路径 数据量大小 文件个数或表个数 HDFS/OBS（或其他文件存储系统） /user/helloworld

查看更多 →

使用Hue WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时，报如下图所示无法访问的错误提示，该如何处理？ 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装

查看更多 →

384 MB 可能原因 目录配置的剩余的空间小于写文件实际需要的空间。 原因分析 HDFS支持设置某目录的配额，即限制某目录下的文件最多占用空间大小，例如如下命令是设置“/tmp/tquota”目录最多写入150MB的文件（文件大小*副本数）。 hadoop dfsadmin -setSpaceQuota

查看更多 →

kubernetes.io/storage-class 文件存储类型，当前支持标准文件协议类型（nfs-rw）。 name 创建的PVC名称。 accessModes 只支持ReadWriteMany，不支持ReadWriteOnly。 storage 存储容量，单位为Gi。 执行如下命令创建PVC。

查看更多 →

ALM-14006 HDFS文件数超过阈值 告警解释 系统每30秒周期性检测HDFS文件数，并把实际文件数和阈值相比较。当检测到HDFS文件数指标超出阈值范围时产生该告警。 平滑次数为1，HDFS文件数指标的值小于或等于阈值时，告警恢复；平滑次数大于1，HDFS文件数指标的值小于或等于阈值的90%时，告警恢复。

查看更多 →

HDFS客户端写文件close失败 问题背景与现象 HDFS客户端写文件close失败，客户端提示数据块没有足够副本数。 客户端日志： 2015-05-27 19:00:52.811 [pool-2-thread-3] ERROR: /tsp/nedata/collect/UGW

查看更多 →

使用Hue WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时，报如下图所示无法访问的错误提示，该如何处理？ 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装

查看更多 →

使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略（NodeLabel）

查看更多 →

FileContent Kerveros认证所需的keytab文件的本地绝对路径，您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.runMode 否 枚举 选择HDFS连接的运行模式： EMBEDDED：连接实例与 CDM 运行在一起，该模式性能较好。

查看更多 →

HDFS Colocation 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。

查看更多 →

单NameNode长期故障时如何使用客户端手动checkpoint HDFS文件读写时报错“Failed to place enough replicas” 文件最大打开句柄数设置太小导致读写文件异常 HDFS客户端写文件close失败 文件错误导致上传文件到HDFS失败 界面配置dfs.blocksize后上传数据，block大小未改变

查看更多 →

期”信息。 单击文件名，可查看文本文件的文本信息或二进制数据。支持编辑文件内容。 如果文件和目录数量比较多，可以在搜索框输入关键字，搜索特定的文件或目录。 创建文件或目录 单击右上角的“新建”，选择“文件”创建文件，选择“目录”创建目录。 管理文件或目录 勾选文件或目录的复选框，

查看更多 →

S3、微软 Blob、NAS_SMB、NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL、HTTP/HTTPS数据源迁移。 逻辑架构图 图1 存储迁移逻辑架构图 迁移流程实施 准备工作 创建目的端对象桶或者弹性文件系统。 评估集群 根据源端文件数量，自行评估集群大小及规格，将用于工作流中新建集群。

查看更多 →

系统上具备很好的并发性能，并且占用极小的内存。许多大公司都在用，稳定性和性能是经过充分验证的 文件服务器 FTP 帆软支持多种文件服务器，包括FTP、SFTP、HDFS等 SFTP HDFS 状态服务器 redis 单机 帆软集群方案里，状态服务器是用 Redis 实现的，常用的 Redis 方案有 Redis

查看更多 →

HDFS写文件失败，报错“item limit of xxx is exceeded” 问题背景与现象 客户端或者上层组件日志报往HDFS的某目录写文件失败，报错为： The directory item limit of /tmp is exceeded: limit=5 items=5。

查看更多 →

SparkRTC云端录制文件存储在哪里？ 录制内容不断上传至您预先设定的云存储中，具体请参见云端录制管理。 父主题： 录制相关

查看更多 →