行拷贝。 数据快递服务（DES） 对于TB或PB级数据上云的场景，华为云提供数据快递服务 DES。将线下集群数据及已导出的元数据拷贝到DES盒子，快递服务将数据递送到华为云机房，然后通过云数据迁移 CDM将DES盒子数据拷贝到HDFS。 HDFS元数据备份 HDFS数据需要导出的

查看更多 →

恢复HDFS业务数据 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HDFS进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HDFS进行恢复数据操作。 系统管理员可以通过FusionInsight

查看更多 →

选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。 单击“数据管理 > HDFS”，进入HDFS页面。 单击“新建HDFS路径”，进入New HDFS Path页面。 配置HDFS参数，参数说明如表1所示。配置完成后，单击“确定”。 表1 新建HDFS路径参数说明 参数名称

查看更多 →

备份HDFS业务数据 操作场景 为了确保HDFS日常用户的业务数据安全，或者系统管理员需要对HDFS进行重大操作（如升级或迁移等），需要对HDFS数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight

查看更多 →

选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。 单击“数据管理 > HDFS”，进入HDFS页面。 单击“新建HDFS路径”，进入New HDFS Path页面。 配置HDFS参数，参数说明如表1所示。配置完成后，单击“确定”。 表1 新建HDFS路径参数说明 参数名称

查看更多 →

配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则： 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据（修改时间）

查看更多 →

配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则： 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据（修改时间）

查看更多 →

迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中，对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中，则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移，包括：Distcp方式迁移、CDM方式迁移和OMS方式迁移。

查看更多 →

HDFS HDFS基本原理 HDFS HA方案介绍 HDFS与其他组件的关系 HDFS开源增强特性 父主题： 组件介绍

查看更多 →

HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider

查看更多 →

HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider

查看更多 →

hdfs_path 格式 无。 说明 HDFS的路径，如“hdfs:///tmp”。 父主题： 标示符

查看更多 →

置。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。CDM支持多个文件的并发抽取，调大参数有利于提高迁移效率 是否写入脏数据：否，文件到文件属于二进制迁移，不存在脏数据。 作业运行完是否删除：这里保持默认值“不删除”。根据使用场景，也可配置为“删除”，防止迁移作业堆积。

查看更多 →

务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。CDM支持多个文件的并发抽取，调大参数有利于提高迁移效率 是否写入脏数据：否，文件到文件属于二进制迁移，不存在脏数据。 作业运行完是否删除：这里保持默认值“不删除”。根据使用场景，也可配置为“删除”，防止迁移作业堆积。

查看更多 →

接入MRS HDFS数据源 概述 ROMA Connect支持把MRS HDFS作为一个数据源，并用于数据集成任务。在使用MRS HDFS数据源前，您需要先接入数据源。 若两个数据集成任务分别使用了不同版本的MRS数据源（包含MRS Hive、MRS HDFS和MRS HBase

查看更多 →

大量数据写入HDFS时报错 问题 大量数据写入HDFS时偶现“NotReplicatedYet Exception: Not replicated yet”错误。 图1 报错信息 回答 以下原因可能造成该报错： HDFS客户端向NameNode发送新Block申请，由于NameNode来不及处理导致超时。

查看更多 →

置。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。CDM支持多个文件的并发抽取，调大参数有利于提高迁移效率 是否写入脏数据：否，文件到文件属于二进制迁移，不存在脏数据。 作业运行完是否删除：这里保持默认值“不删除”。根据使用场景，也可配置为“删除”，防止迁移作业堆积。

查看更多 →

时，代表无穷大。 5 dfs.balancer.auto.maxDataNodesNum 该参数用来控制进行自动Balancer的DataNode数量。假设该参数值为N，当N大于0， 则选择剩余空间比例最高的N个DataNode和最低的N个DataNode之间进行数据均衡；当N等于0，

查看更多 →

时，代表无穷大。 5 dfs.balancer.auto.maxDataNodesNum 该参数用来控制进行自动Balancer的DataNode数量。假设该参数值为N，当N大于0， 则选择剩余空间比例最高的N个DataNode和最低的N个DataNode之间进行数据均衡；当N等于0，

查看更多 →

置。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。CDM支持多个文件的并发抽取，调大参数有利于提高迁移效率 是否写入脏数据：否，文件到文件属于二进制迁移，不存在脏数据。 作业运行完是否删除：这里保持默认值“不删除”。根据使用场景，也可配置为“删除”，防止迁移作业堆积。

查看更多 →

protection layer” HDFS目录配额不足导致写文件失败 执行balance失败报错“Source and target differ in block-size” 查询或者删除HDFS文件失败 非HDFS数据残留导致数据分布不均衡 HDFS客户端安装在数据节点导致数据分布不均衡 节点内DataNode磁盘使用率不均衡

查看更多 →