更新时间:2024-10-16 GMT+08:00
分享

配置HiveMetaStore客户端连接负载均衡

操作场景

Hive的MetaStore客户端连接支持负载均衡,即可通过服务端在ZooKeeper记录的连接数,选择连接最少的节点进行连接,防止大业务场景下造成某个MetaStore高负载,其他MetaStore空闲情况,开启此功能不影响原有连接方式。

该章节内容适用于MRS 3.2.0及之后版本。

操作步骤

  1. 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。
  2. 在搜索框中搜索参数“hive.metastore-ext.balance.connection.enable”,修改该参数值为“true”。
  3. 单击“保存”,保存配置。
  4. 配置保存成功后,单击“实例”,勾选所有实例,选择“更多 > 重启实例”,在弹出对话框输入密码,单击“确定”,重启所有Hive实例。
  5. 对于其他连接MetaStore的组件,还需要添加“hive.metastore-ext.balance.connection.enable”参数,值为“true”。

    以Spark为例:

    1. 登录FusionInsight Manager页面,选择“集群 > 服务 > Spark > 配置”。
    2. 搜索“自定义”,在所有的“hive-site.xml”参数文件中新增名称为“hive.metastore-ext.balance.connection.enable”,值为“true”的自定义参数,单击“保存”,保存配置。
    3. 配置保存成功后,单击“实例”,勾选配置过期的实例,选择“更多 > 重启实例”,在弹出对话框输入密码,单击“确定”,重启配置过期的实例。

相关文档