文档首页/ MapReduce服务 MRS/ 用户指南（吉隆坡区域）/ 常见问题/ 大数据业务开发/ HDFS如何进行数据均衡？
更新时间：2022-08-12 GMT+08:00
查看PDF
分享

HDFS如何进行数据均衡？

  1. 登录集群的Master节点，并执行以下命令配置环境变量。其中“/opt/client”为客户端安装目录，具体以实际为准。

    source /opt/client/bigdata_env

    kinit 组件业务用户 （如果集群已开启kerberos认证，则执行该命令进行用户认证。未开启kerberos认证的集群无需执行该命令。）

  2. 执行如下命令启动balancer。

    /opt/client/HDFS/hadoop/sbin/start-balancer.sh -threshold 5

  3. 查看日志。

    balance任务执行时会在客户端安装目录“/opt/client/HDFS/hadoop/logs”目录下生成名为hadoop-root-balancer-主机名.log日志。

  4. （可选）若不想再进行数据均衡，可执行如下命令停止balancer。

    source /opt/client/bigdata_env

    kinit 组件业务用户 （如果集群已开启kerberos认证，则执行该命令进行用户认证。未开启kerberos认证的集群无需执行该命令。）

    /opt/client/HDFS/hadoop/sbin/stop-balancer.sh -threshold 5

父主题： 大数据业务开发