HDFS常见问题 执行distcp命令报错如何处理 HDFS执行Balance时被异常停止如何处理 访问HDFS WebUI时，界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象

查看更多 →

HDFS运维管理 HDFS常用配置参数 HDFS日志介绍 查看HDFS容量状态 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS 服务器存储 NameNode元数据 父主题：

查看更多 →

创建HDFS权限角色 操作场景 该任务指导 MRS 集群管理员在 FusionInsight Manager创建并设置HDFS的角色。HDFS角色可设置HDFS目录或文件的读、写和执行权限。 用户在HDFS中对自己创建的目录或文件拥有完整权限，可直接读取、写入以及授权他人访问此HDFS目录与文件。

查看更多 →

化。 操作步骤 登录FusionInsight Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索“hdfs.hdfs-site.customized.configs”参数，增加如下自定义参数，参数值根据实际需求进行配置。

查看更多 →

HDFS用户权限管理 创建HDFS权限角色 配置HDFS用户访问HDFS文件权限 父主题： 使用HDFS

查看更多 →

HDFS运维管理 HDFS常用配置参数 HDFS日志介绍 规划HDFS容量 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS 服务器 存储NameNode元数据 父主题： 使用HDFS

查看更多 →

配置HDFS源端参数 作业中源连接为HDFS连接时，即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。

查看更多 →

MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码？ 回答 MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。 首先理解两个参数：“mapreduce.map.java

查看更多 →

智能排班二次开发指南 概述 准备工作 定制开发指导（基于智能排班模型BO） 定制开发指导（基于智能排班基线应用） 集成应用到ISDP+平台（可选） 安装和配置公共应用/BO

查看更多 →

MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码？ 回答 MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。 首先理解两个参数：“mapreduce.map.java

查看更多 →

数，用户可根据需要调整内存值。 查看HDFS容量状态 NameNode信息 MRS 3.x之前版本：登录MRS控制台，选择“组件管理 > HDFS > NameNode(主)”，单击“Overview”，查看“Summary”显示的当前HDFS文件对象、文件数量、目录数量和Block数量信息。

查看更多 →

HDFS常用配置参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.

查看更多 →

API、WEB UI五种方式，可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。

查看更多 →

初始化HDFS 功能简介 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件。 实例化Filesystem。 代码样例 如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。

查看更多 →

调测HDFS应用 在本地Windows中调测HDFS程序 在Linux环境中调测HDFS应用 父主题： HDFS开发指南（普通模式）

查看更多 →

HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 进入HDFS客户端如下目录，直接输入命令即可。例如： cd /opt/client/HDFS/hadoop/bin

查看更多 →

HDFS应用开发简介 HDFS简介 HDFS（Hadoop Distribute FileSystem）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，适合大规模数据集应用。 HDFS适用于如下场景。 处理海量数据（TB或PB级别以上） 需要很高的吞吐量

查看更多 →

追加HDFS文件内容 功能简介 追加文件内容，是指在HDFS的某个指定文件后面，追加指定的内容。过程为： 实例化一个FileSystem。 由此FileSystem实例获取各类相关资源。 将待追加内容添加到HDFS的指定文件后面。 在完成后，需关闭所申请资源。 代码样例 如下是代码片段，详细代码请参考com

查看更多 →

调测HDFS应用 在Linux环境中调测HDFS应用 查看HDFS应用调测结果 父主题： HDFS开发指南

查看更多 →

HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作，例如读文件、写文件等操作。 执行HDFS Shell的方法： 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Ker

查看更多 →

备份HDFS业务数据 操作场景 为了确保HDFS日常用户的业务数据安全，或者系统管理员需要对HDFS进行重大操作（如升级或迁移等），需要对HDFS数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight

查看更多 →