更新时间:2024-11-29 GMT+08:00

配置Hive数据连接

本章节指导用户在创建后,将现有集群的Hive元数据切换为本地数据库或者RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除。也能够避免集群迁移时Hive元数据的迁移。

  • 不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据切换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。
  • 当用户选择的数据连接为“RDS服务MySQL数据库”时,数据库用户不允许为root用户,请参考数据连接前置操作新建用户并为该用户进行赋权。

配置Hive数据连接

  1. 登录MRS控制台,在导航栏选择“集群列表 > 现有集群”。
  2. 单击集群名称,进入集群详情页面。
  3. 在集群详情页的“概览”页签,单击“数据连接”右侧的“单击管理”。
  4. 在“数据连接”页面显示集群已关联的数据连接,单击“编辑”或“删除”可对数据连接进行编辑或删除。
  5. 若“数据连接”页面没有关联连接,单击“配置数据连接”进行增加。

    一种模块类型只能配置一个数据连接,如在Hive元数据上配置了数据连接后,不能再配置其他的数据连接。当没有可用的模块类型时,“配置数据连接”按钮不可用。

    表1 配置Hive数据连接

    参数

    说明

    组件名称

    Hive

    模块类型

    Hive元数据

    连接类型

    • RDS服务MySQL数据库
    • 本地数据库

    连接实例

    当“连接类型”参数选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时有效。选择MRS集群与RDS服务数据库连接名称,该连接必须先创建才能在此处引用。可单击“创建数据连接”进行创建,具体请参考创建RDS数据连接

  6. 单击“测试”,测试此数据连接和集群的连通性。
  7. 连接成功后单击“确定” 完成配置数据连接。

    • 配置了Hive元数据后,请重启Hive服务,Hive会在指定的数据库下创建Hive必须的数据库表(如表已经存在则不会创建)。
    • 重启Hive服务前,请确保已安装对应驱动包到所有MetaStore实例所在节点中。
      • Postgres:使用开源驱动包替换集群已有的驱动包。将postgres驱动包postgresql-42.2.5.jar上传至所有MetaStore实例节点${BIGDATA_HOME}/third_lib/Hive目录下。
      • MySQL:进入MySQL官网(https://www.mysql.com/),选择“Downloads > Community > MySQL Connectors > Connector/J”下载对应版本的驱动包,将MySQL对应版本的驱动包上传至所有Metastore实例节点“/opt/Bigdata/FusionInsight_HD_*/install/FusionInsight-Hive-*/hive-*/lib/”目录下。