更新时间：2024-08-01 GMT+08:00
配置HDFS Mover命令迁移数据
配置场景
Mover是一个新的数据迁移工具，工作方式与HDFS的Balancer接口工作方式类似。Mover能够基于设置的数据存储策略，将集群中的数据重新分布。
通过运行Mover，周期性地检测HDFS文件系统中用户指定的HDFS文件或目录，判断该文件或目录是否满足设置的存储策略，如果不满足，则进行数据迁移，使目标目录或文件满足设定的存储策略。
本章节适用于MRS 3.x及后续版本。
配置描述
请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。
|
参数 |
描述 |
默认值 |
|---|---|---|
|
dfs.mover.auto.enable |
是否开启数据副本迁移功能，该功能支持多种。默认值为“false”，表示关闭该特性。 |
false |
|
dfs.mover.auto.cron.expression |
HDFS执行自动数据迁移的CRON表达式，用于控制数据迁移操作的开始时间。仅当dfs.mover.auto.enable设置为true时才有效。默认值“0 * * * *”表示在每个整点执行任务。表达式的具体含义可参见表2。 |
0 * * * * |
|
dfs.mover.auto.hdfsfiles_or_dirs |
指定集群执行自动副本迁移的HDFS文件或目录列表，以空格分隔。仅当dfs.mover.auto.enable设置为true时才有效。 |
- |
使用说明
若要在HDFS的客户端通过命令行执行mover功能，其命令格式如下：
hdfs mover -p <HDFS文件全路径或目录路径>
在客户端执行此命令时，用户需要具备supergroup权限。可以使用HDFS服务的系统用户hdfs。或者在集群上创建一个具有supergroup权限的用户，再在客户端中执行此命令。
父主题： 使用HDFS
