更新时间:2024-10-11 GMT+08:00
配置Hive数据连接
本章节指导用户在创建后,将现有集群的Hive元数据切换为本地数据库或者RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除。也能够避免集群迁移时Hive元数据的迁移。
- 不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据切换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。
- 对于MRS 3.x之前版本,当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考数据连接前置操作新建用户并为该用户进行赋权。
- 对于MRS 3.x及之后版本,当用户选择的数据连接为“RDS服务MySQL数据库”时,数据库用户不允许为root用户,请参考数据连接前置操作新建用户并为该用户进行赋权。
配置Hive数据连接
该功能在MRS 3.0.5版本暂不支持。
- 登录MRS控制台,在导航栏选择“集群列表 > 现有集群”。
- 单击集群名称,进入集群详情页面。
- 在集群详情页的“概览”页签,单击“数据连接”右侧的“单击管理”。
- 在“数据连接”页面显示集群已关联的数据连接,单击“编辑”或“删除”可对数据连接进行编辑或删除。
- 若“数据连接”页面没有关联连接,单击“配置数据连接”进行增加。
一种模块类型只能配置一个数据连接,如在Hive元数据上配置了数据连接后,不能再配置其他的数据连接。当没有可用的模块类型时,“配置数据连接”按钮不可用。
表1 配置Hive数据连接 参数
说明
组件名称
Hive
模块类型
Hive元数据
连接类型
- RDS服务MySQL数据库
- 本地数据库
连接实例
当“连接类型”参数选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时有效。选择MRS集群与RDS服务数据库连接名称,该连接必须先创建才能在此处引用。可单击“创建数据连接”进行创建,具体请参考创建数据连接。
- 单击“测试”,测试此数据连接和集群的连通性。
- 连接成功后单击“确定” 完成配置数据连接。
- 配置了Hive元数据后,请重启Hive服务,Hive会在指定的数据库下创建Hive必须的数据库表(如表已经存在则不会创建)。
- 重启Hive服务前,请确保已安装对应驱动包到所有MetaStore实例所在节点中。
- Postgres:使用开源驱动包替换集群已有的驱动包。将postgres驱动包postgresql-42.2.5.jar上传至所有MetaStore实例节点${BIGDATA_HOME}/third_lib/Hive目录下(开源驱动包下载地址:https://repo1.maven.org/maven2/org/postgresql/postgresql/42.2.5/)。
- MySQL:进入MySQL官网(https://www.mysql.com/),选择“Downloads > Community > MySQL Connectors > Connector/J”下载对应版本的驱动包,将MySQL对应版本的驱动包上传至所有Metastore实例节点“/opt/Bigdata/FusionInsight_HD_*/install/FusionInsight-Hive-*/hive-*/lib/”目录下。
父主题: 管理数据连接