时显示此参数。 - 是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hdfs_01 单击“显示高级属性”，然

查看更多 →

时显示此参数。 - 是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hdfs_01 单击“显示高级属性”，然

查看更多 →

配置HDFS常用参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.

查看更多 →

配置HDFS源端参数 作业中源连接为HDFS连接时，即从 MRS HDFS、 FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。

查看更多 →

配置HDFS常用参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.

查看更多 →

配置HDFS源端参数 作业中源连接为HDFS连接时，即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。

查看更多 →

配置HDFS目录权限 操作场景 默认情况下，某些HDFS的文件目录权限为777或者750，存在安全风险。建议您在安装完成后修改该HDFS目录的权限，增加用户的安全性。 操作步骤 在HDFS客户端中，使用具有HDFS管理员权限的用户，执行如下命令，将“/user”的目录权限进行修改。

查看更多 →

配置HDFS目录权限 操作场景 默认情况下，某些HDFS的文件目录权限为777或者750，存在安全风险。建议您在安装完成后修改该HDFS目录的权限，增加用户的安全性。 操作步骤 在HDFS客户端中，使用具有HDFS管理员权限的用户，执行如下命令，将“/user”的目录权限进行修改。

查看更多 →

登录FusionInsight Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索并修改“dfs.namenode.file.close.num-committed-allowed”参数，配置项详细说明如下表。 参数 参数说明 dfs.namenode

查看更多 →

和访问HDFS的权限的用户，例如：clickhouseuser。 在对接HDFS组件之前，需要注意首先确保HDFS中有对应的目录，ClickHouse的HDFS引擎只会操作文件不会创建或删除目录。 当前系统只支持部署在x86节点的ClickHouse集群对接HDFS，部署在ARM

查看更多 →

配置HDFS Mover 配置场景 Mover是一个新的数据迁移工具，工作方式与HDFS的Balancer接口工作方式类似。Mover能够基于设置的数据存储策略，将集群中的数据重新分布。 通过运行Mover，周期性地检测HDFS文件系统中用户指定的HDFS文件或目录，判断该文件或

查看更多 →

配置HDFS DiskBalancer 配置场景 DiskBalancer是一个在线磁盘均衡器，旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是，HDFS Balancer工具用于DataNode节点间的数据均衡，而HDFS

查看更多 →

配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则： 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据（修改时间）

查看更多 →

配置HDFS DiskBalancer 配置场景 DiskBalancer是一个在线磁盘均衡器，旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是，HDFS Balancer工具用于DataNode节点间的数据均衡，而HDFS

查看更多 →

配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则： 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据（修改时间）

查看更多 →

3这个数据节点被删除或者退出服务后，数据块不会再被分配到该节点上。 设置目录/文件的标签表达式 在HDFS参数配置页面配置“path2expression”，配置HDFS目录与标签的对应关系。当配置的HDFS目录不存在时，也可以配置成功，新建不存在的同名目录，已设置的标签对应关系将在30分钟之内被继承。设

查看更多 →

配置HDFS Mover 配置场景 Mover是一个新的数据迁移工具，工作方式与HDFS的Balancer接口工作方式类似。Mover能够基于设置的数据存储策略，将集群中的数据重新分布。 通过运行Mover，周期性地检测HDFS文件系统中用户指定的HDFS文件或目录，判断该文件或

查看更多 →

3这个数据节点被删除或者退出服务后，数据块不会再被分配到该节点上。 设置目录/文件的标签表达式 在HDFS参数配置页面配置“path2expression”，配置HDFS目录与标签的对应关系。当配置的HDFS目录不存在时，也可以配置成功，新建不存在的同名目录，已设置的标签对应关系将在30分钟之内被继承。设

查看更多 →

单击“数据管理 > HDFS”，进入HDFS页面。 单击“新建HDFS路径”，进入New HDFS Path页面。 配置HDFS参数，参数说明如表1所示。配置完成后，单击“确定”。 表1 新建HDFS路径参数说明 参数名称 参数说明 HDFS类型 选择HDFS类型，是“Hive”还是“File”。

查看更多 →

hdfs_path 格式 无。 说明 HDFS的路径，如“hdfs:///tmp”。 父主题： 标示符

查看更多 →

HDFS HDFS应用开发规则 HDFS应用开发建议

查看更多 →