更新时间:2022-12-08 GMT+08:00

HDFS如何进行数据均衡?

  1. 登录集群的Master节点,并执行以下命令配置环境变量。其中“/opt/client”为客户端安装目录,具体以实际为准。

    source /opt/client/bigdata_env

    kinit 组件业务用户 (如果集群已开启kerberos认证,则执行该命令进行用户认证。未开启kerberos认证的集群无需执行该命令。)

  2. 执行如下命令启动balancer。

    /opt/client/HDFS/hadoop/sbin/start-balancer.sh -threshold 5

  3. 查看日志。

    balance任务执行时会在客户端安装目录“/opt/client/HDFS/hadoop/logs”目录下生成名为hadoop-root-balancer-主机名.log日志。

  4. (可选)若不想再进行数据均衡,可执行如下命令停止balancer。

    source /opt/client/bigdata_env

    kinit 组件业务用户 (如果集群已开启kerberos认证,则执行该命令进行用户认证。未开启kerberos认证的集群无需执行该命令。)

    /opt/client/HDFS/hadoop/sbin/stop-balancer.sh -threshold 5