文档首页/ MapReduce服务 MRS/ 用户指南(阿布扎比区域)/ 元数据/ 配置数据连接
更新时间：2024-09-30 GMT+08:00
查看PDF
分享

配置数据连接

MRS的数据连接是用来管理集群中组件使用的外部源连接，如Hive的元数据使用外部的关系型数据库，可以通过数据连接来关联Hive组件实现。

  • 本地元数据：元数据存储于集群内的本地GaussDB中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据。
  • 数据连接：可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的PostgresDB或MySQL数据库，元数据将存储于关联的数据库中，不会随当前集群的删除而删除，多个MRS集群可共享同一份元数据。

不同集群间Hive元数据切换时，MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的，所以不同集群间的Hive元数据切换，不能自动把用户/用户组的权限同步到另一个集群的Manager上。

数据连接前置操作

  1. 登录RDS管理控制台。
  2. 选择“实例管理”，单击MRS数据连接使用的RDS实例名称。
  3. 单击右上角的“登录”，以root用户登录该实例。

  4. 在实例“首页”即可单击“新建数据库”创建新的数据库。

  5. 在页面顶部选择“帐号管理 > 用户管理”。

    当用户选择的数据连接为“RDS服务MySQL数据库”时，请确保使用的数据库用户为root用户。如果为非root用户，请参考5-7操作。

  6. 单击“新建用户”，创建一个非root用户。

  7. 在页面顶部选择“SQL操作 > SQL查询”，在“库名”处切换对应数据库，然后执行如下SQL命令为该数据库用户进行赋权，其中${db_name}与${db_user}为MRS待连接的数据库名和新建的用户名。 

    grant SELECT, INSERT on mysql.* to '${db_user}'@'%' with grant option;
grant all privileges on ${db_name}.* to '${db_user}'@'%' with grant option;
grant reload on *.* to '${db_user}'@'%' with grant option;
flush privileges;

  8. 参考创建数据连接创建数据连接。

创建数据连接

  1. 登录MRS控制台，在导航栏选择“数据连接”。
  2. 单击“新建数据连接 ”。
  3. 参考表1配置相关参数。

    表1 数据连接

    参数

    说明

    类型

    选择外部源连接的类型。

    • RDS服务PostgreSQL数据库，MRS 支持Hive组件的集群支持连接该类型数据库。
    • RDS服务MySQL数据库，支持Hive或Ranger组件的集群支持连接该类型数据库。

    名称

    数据连接的名称。

    数据库实例

    RDS服务数据库实例，该实例需要先在RDS服务创建后在此处引用，且已创建数据库，具体请参考数据连接前置操作。单击“查看RDS实例”查看已创建的实例。

    说明：
    • 为了保证集群和PostgreSQL数据库的网络访问，建议该实例与MRS集群的虚拟私有云和子网一致。
    • 该实例的安全组入方向规则需要放通3306端口（可通过在RDS控制台单击实例名称进入实例基本信息页面，在“连接信息”区域单击“内网安全组”名称进入安全组控制台，在入方向规则页签中添加一个“协议端口”为TCP 3306，“源地址”为Hive的MetaStore实例所在的所有节点IP的规则）。
    • 当前MRS支持的RDS上Postgres数据库版本号为PostgreSQL9.5/PostgreSQL9.6。
    • 当前MRS仅支持RDS上MySQL数据库版本为MySQL 5.7.x。

    数据库

    待连接的数据库的名称。

    用户名

    登录待连接的数据库的用户名。

    密码

    登录待连接的数据库的密码。

    当用户选择的数据连接为“RDS服务MySQL数据库”时，请确保使用的数据库用户为root用户。如果为非root用户，请参考数据连接前置操作操作。

  4. 单击“确定”完成创建。

编辑数据连接

  1. 登录MRS控制台，在导航栏选择“数据连接”。
  2. 在数据连接列表的“操作列”，单击待编辑数据连接所在行的“编辑 ”。
  3. 参考表1修改参数。

    如果选择的数据连接已经关联了集群，编辑后会将修改后的配置同步到对应的集群中。

删除数据连接

  1. 登录MRS控制台，在导航栏选择“数据连接”。
  2. 在数据连接列表的操作列，单击待删除数据连接所在行的“删除 ”。

    如果选择的数据连接已经关联了集群，删除动作不会影响对应的集群。

创建集群时配置数据连接

  1. 登录MRS管理控制台。
  2. 单击“创建集群”，进入“创建集群”页面。
  3. 在创建集群页面，选择“自定义创建”。
  4. 在软件配置中，参考表2配置“元数据 ”，其他参数请参考创建自定义集群进行配置并创建集群。

    表2 数据连接参数说明

    参数

    参数说明

    元数据

    是否使用外部数据源存储元数据。

    • 本地元数据： 元数据存储在集群本地。
    • 数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。

    支持Hive或Ranger组件的集群支持该功能。

    组件名

    当“使用外部数据源存储元数据”功能开启时，该参数有效。用于表示可以设置外部数据源的组件类型。

    • Hive
    • Ranger

    数据连接类型

    当“使用外部数据源存储元数据”功能开启时，该参数有效。用于表示外部数据源的类型。

    • Hive组件支持的数据连接类型：
      • RDS服务PostgreSQL数据库（1.9.x版本支持）
      • RDS服务MySQL数据库
      • 本地数据库
    • Ranger组件支持的数据连接类型：
      • RDS服务MySQL数据库
      • 本地数据库

    数据连接实例

    当“数据连接类型”选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时，该参数有效。用于表示MRS集群与RDS服务数据库连接的名称，该实例必需先创建才能在此处引用。可单击“创建数据连接”进行创建，具体请参考数据连接前置操作和创建数据连接进行操作。

在现有集群中管理数据连接

该功能在MRS 3.0.5版本暂不支持。

  1. 登录MRS控制台，在导航栏选择“集群列表 > 现有集群”。
  2. 单击集群名称，进入集群详情页面。
  3. 在集群详情页的“概览”页签，单击“数据连接”右侧的“单击管理”。
  4. 在“数据连接”页面显示集群已关联的数据连接，单击“编辑”或“删除”可对数据连接进行编辑或删除。
  5. 若“数据连接”页面没有关联连接，单击“配置数据连接”进行增加。

    一种模块类型只能配置一个数据连接，如在Hive元数据上配置了数据连接后，不能再配置其他的数据连接。当没有可用的模块类型时，“配置数据连接”按钮不可用。

    表3 配置数据连接

    参数

    说明

    组件名称
    • Hive
    • Ranger

    模块类型

    当“组件名称”选择“Hive”时，支持“Hive元数据”。

    当“组件名称”选择“Ranger”时，支持“Ranger元数据”。

    连接类型
    • Hive组件支持的数据连接类型：
      • RDS服务PostgreSQL数据库
      • RDS服务MySQL数据库
      • 本地数据库
    • Ranger组件支持的数据连接类型：
      • RDS服务MySQL数据库
      • 本地数据库

    连接实例

    当“连接类型”参数选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时有效。选择MRS集群与RDS服务数据库连接名称，该连接必选先创建才能在此处引用。可单击“创建数据连接”进行创建，具体请参考创建数据连接。

  6. 单击“测试”，测试此数据连接和集群的连通性。
  7. 连接成功后单击“确定” 完成配置数据连接。

    配置了Hive/Ranger元数据后，请重启Hive/Ranger服务，Hive/Ranger会在指定的数据库下创建Hive/Ranger必须的数据库表（如表已经存在则不会创建）。

父主题： 元数据