更新时间:2024-10-28 GMT+08:00
配置HiveMetaStore客户端连接负载均衡
操作场景
Hive的MetaStore客户端连接支持负载均衡,即可通过服务端在ZooKeeper记录的连接数,选择连接最少的节点进行连接,防止大业务场景下造成某个MetaStore高负载,其他MetaStore空闲情况,开启此功能不影响原有连接方式。
该章节内容适用于MRS 3.2.0及之后版本。
操作步骤
- 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。
- 在搜索框中搜索参数“hive.metastore-ext.balance.connection.enable”,修改该参数值为“true”。
- 单击“保存”,保存配置。
- 配置保存成功后,单击“实例”,勾选所有实例,选择“更多 > 重启实例”,在弹出对话框输入密码,单击“确定”,重启所有Hive实例。
- 对于其他连接MetaStore的组件,还需要添加“hive.metastore-ext.balance.connection.enable”参数,值为“true”。
以Spark为例:
- 登录FusionInsight Manager页面,选择“集群 > 服务 > Spark > 配置”。
- 搜索“自定义”,在所有的“hive-site.xml”参数文件中新增名称为“hive.metastore-ext.balance.connection.enable”,值为“true”的自定义参数,单击“保存”,保存配置。
- 配置保存成功后,单击“实例”,勾选配置过期的实例,选择“更多 > 重启实例”,在弹出对话框输入密码,单击“确定”,重启配置过期的实例。
父主题: Hive负载均衡