更新时间:2026-01-09 GMT+08:00
分享

配置HiveMetaStore客户端连接负载均衡

操作场景

Hive的MetaStore客户端连接支持负载均衡,即可通过服务端在ZooKeeper记录的连接数,选择连接最少的节点进行连接,防止大业务场景下造成某个MetaStore高负载,其他MetaStore空闲情况,开启此功能不影响原有连接方式。

约束与限制

  • 该章节内容适用于MRS 3.2.0及之后版本。
  • MRS 3.6.0-LTS及之后版本,使用HCatalog客户端运行任务过程中连接MetaStore时不支持此功能。如果Hive开启了此功能,使用HCatalog客户端运行任务时日志中会打印“Connect to zookeeper failed,now try the way that read properties”报错信息,需将“{客户端安装目录}/Hive/HCatalog/conf/hivemetastore-site.xml”文件中的“hive.metastore-ext.balance.connection.enable”参数值修改为“false”,再使用HCatalog客户端重新提交任务。

操作步骤

  1. 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。
  2. 在搜索框中搜索参数“hive.metastore-ext.balance.connection.enable”,修改该参数值为“true”,开启使用负载均衡方式连接Hive Metastore。
  3. 单击“保存”,保存配置。
  4. 配置保存成功后,单击“实例”,勾选所有实例,选择“更多 > 重启实例”,在弹出对话框输入密码,单击“确定”,重启所有Hive实例。
  5. 对于其他连接MetaStore的组件,还需要添加“hive.metastore-ext.balance.connection.enable”参数,值为“true”。

    以Spark为例:

    1. 登录FusionInsight Manager页面,选择“集群 > 服务 > Spark > 配置”。
    2. 搜索“自定义”,在所有的“hive-site.xml”参数文件中新增名称为“hive.metastore-ext.balance.connection.enable”,值为“true”的自定义参数,单击“保存”,保存配置。
    3. 配置保存成功后,单击“实例”,勾选配置过期的实例,选择“更多 > 重启实例”,在弹出对话框输入密码,单击“确定”,重启配置过期的实例。

相关文档