追加HDFS文件内容 功能简介 追加文件内容，是指在HDFS的某个指定文件后面，追加指定的内容。过程为： 实例化一个FileSystem。 由此FileSystem实例获取各类相关资源。 将待追加内容添加到HDFS的指定文件后面。 在完成后，需关闭所申请资源。 代码样例 如下是代码片段，详细代码请参考com

查看更多 →

调测HDFS应用 在Linux环境中调测HDFS应用 查看HDFS应用调测结果 父主题： HDFS开发指南

查看更多 →

HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Ker

查看更多 →

Manager管理，则必须配置系统互信，请参见配置 MRS 集群间互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用MRS集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。

查看更多 →

在本实践中，需要确保本地环境与MRS集群所在网络平面互通，通常可以通过绑定EIP的方式访问MRS集群，具体操作请参考配置Windows通过EIP访问集群HDFS。 如果本地开发环境与MRS集群内节点网络不通，也可以将样例工程编译后，将jar包上传至集群内运行，具体操作可参考调测HDFS应用。 Wind

查看更多 →

API、WEB UI五种方式，可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。

查看更多 →

初始化HDFS 功能简介 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件。 实例化Filesystem。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hadoop-examples”工程的“conf”目录。

查看更多 →

删除HDFS指定目录 功能简介 删除HDFS上某个指定目录。 被删除的目录会被直接删除，且无法恢复。所以，执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**

查看更多 →

HDFS应用开发简介 HDFS简介 HDFS（Hadoop Distribute FileSystem）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。 HDFS适用于如下场景： 处理海量数据（TB或PB级别以上） 需要很高的吞吐量

查看更多 →

配置HDFS源端参数 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。 hdfs_to_cdm 源目录或文件 “列表文件”选择为“否”时，才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量，且

查看更多 →

配置HDFS源端参数 作业中源连接为HDFS连接时，即从MRS HDFS、 FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。

查看更多 →

WRAPPER 只能指定为HDFS_FDW，它在数据库中已经存在。 OPTIONS参数 以下参数请分别指定为2中记录下来的srvoptions中的参数值。 address 指定HDFS集群的主备节点所在的IP地址以及端口。 hdfscfgpath 指定HDFS集群配置文件路径。该参数仅

查看更多 →

excluded in this operation”错误 原因分析 HDFS集群节点都绑定了EIP，在创建MRS Hive数据源时，上传的配置文件中全部用的EIP，Hosts里面也配置好IP与Hostname，但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP，所以连接不通，导致FDI任务执行异常。

查看更多 →

jar之前，请确保已经进行kerberos安全登录，并且keytab方式下，登录用户和所上传keytab所属用户必须是同一个用户。 拓扑提交成功后请登录HDFS集群查看。 如果使用票据登录，则需要使用命令行定期上传票据，具体周期由票据刷新截止时间而定，步骤如下： 在安装好的storm客户端目录的“Storm/storm-1

查看更多 →

响系统的查询延迟。 语法介绍 导出Doris数据到HDFS 集群已启用Kerberos认证（安全模式） EXPORT TABLE db1.tbl1 PARTITION (p1,p2) [WHERE [expr]] TO "hdfs://主NameNode实例IP地址:RPC端口号/tmp/export/"

查看更多 →

jar之前，请确保已经进行kerberos安全登录，并且keytab方式下，登录用户和所上传keytab所属用户必须是同一个用户。 拓扑提交成功后，请登录HDFS集群查看/user/foo目录下是否有文件生成。 如果使用票据登录，则需要使用命令行定期上传票据，具体周期由票据刷新截止时间而定，步骤如下。

查看更多 →

HDFS常见问题 执行distcp命令报错如何处理 HDFS执行Balance时被异常停止如何处理 访问HDFS WebUI时，界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象

查看更多 →

HDFS运维管理 HDFS常用配置参数 HDFS日志介绍 查看HDFS容量状态 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS 服务器存储 NameNode元数据 父主题：

查看更多 →

配置HDFS源端参数 作业中源连接为HDFS连接时，即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。

查看更多 →

HDFS应用开发规范 HDFS应用开发规则 HDFS应用开发建议

查看更多 →

HDFS应用开发建议 HDFS的读写文件注意点 HDFS不支持随机读和写。 HDFS追加文件内容只能在文件末尾添加，不能随机添加。 只有存储在HDFS文件系统中的数据才支持append，edit.log以及数据元文件不支持Append。Append追加文件时，需要将“hdfs-site

查看更多 →