配置数据连接
MRS的数据连接是用来管理集群中组件使用的外部源连接,如Hive的元数据使用外部的关系型数据库,可以通过数据连接来关联Hive组件实现。
- 本地元数据:元数据存储于集群内的本地GaussDB中,当集群删除时元数据同时被删除,如需保存元数据,需提前前往数据库手动保存元数据。
- 数据连接:可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的PostgresDB或MySQL数据库,元数据将存储于关联的数据库中,不会随当前集群的删除而删除,多个MRS集群可共享同一份元数据。
不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据切换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。
数据连接前置操作
- 登录RDS管理控制台。
- 选择“实例管理”,选择MRS数据连接使用的RDS实例所在行的操作列的“更多 > 登录”,以root用户登录该实例。
- 在实例“首页”即可单击“新建数据库”创建新的数据库。
- 在页面顶部选择“账号管理 > 用户管理”。
- 单击“新建用户”,创建一个非root用户。
- 在页面顶部选择“SQL操作 > SQL查询”,在“库名”处切换对应数据库,然后执行如下SQL命令为该数据库用户进行赋权,其中${db_name}与${db_user}为MRS待连接的数据库名和新建的用户名。
grant SELECT, INSERT on mysql.* to '${db_user}'@'%' with grant option; grant all privileges on ${db_name}.* to '${db_user}'@'%' with grant option; grant reload on *.* to '${db_user}'@'%' with grant option; flush privileges;
- 参考创建数据连接创建数据连接。
创建数据连接
- 登录MRS控制台,在导航栏选择“数据连接”。
- 单击“新建数据连接 ”。
- 参考表1配置相关参数。
表1 数据连接 参数
说明
类型
选择外部源连接的类型。
- RDS服务MySQL数据库,支持Hive或Ranger组件的集群支持连接该类型数据库。
名称
数据连接的名称。
数据库实例
RDS服务数据库实例,该实例需要先在RDS服务创建后在此处引用,且已创建数据库,具体请参考数据连接前置操作。单击“查看数据库实例”查看已创建的实例。
说明:- 为了保证集群和PostgreSQL数据库的网络访问,建议该实例与MRS集群的虚拟私有云和子网一致。
- 该实例的安全组入方向规则需要放通3306端口(可通过在RDS控制台单击实例名称进入实例基本信息页面,在“连接信息”区域单击“安全组”右侧的安全组名称进入安全组控制台,在入方向规则页签中添加一个“协议端口”为TCP 3306,“源地址”为Hive的MetaStore实例所在的所有节点IP的规则)。
- 当前MRS支持的RDS上Postgres数据库版本号为PostgreSQL9.5/PostgreSQL9.6。
- 当前MRS仅支持RDS上MySQL数据库版本为MySQL 5.7.x。
数据库
待连接的数据库的名称。
用户名
登录待连接的数据库的用户名。
密码
登录待连接的数据库的密码。
当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考数据连接前置操作操作。
- 单击“确定”完成创建。
编辑数据连接
- 登录MRS控制台,在导航栏选择“数据连接”。
- 在数据连接列表的“操作列”,单击待编辑数据连接所在行的“编辑 ”。
- 参考表1修改参数。
如果选择的数据连接已经关联了集群,编辑后会将修改后的配置同步到对应的集群中。
删除数据连接
- 登录MRS控制台,在导航栏选择“数据连接”。
- 在数据连接列表的操作列,单击待删除数据连接所在行的“删除 ”。
如果选择的数据连接已经关联了集群,删除动作不会影响对应的集群。
创建集群时配置数据连接
- 登录MRS管理控制台。
- 单击“创建集群”,进入“创建集群”页面。
- 在创建集群页面,选择“自定义创建”。
- 在软件配置中,参考表2配置“元数据 ”,其他参数请参考创建自定义集群进行配置并创建集群。
表2 数据连接参数说明 参数
参数说明
元数据
是否使用外部数据源存储元数据。
- 本地元数据: 元数据存储在集群本地。
- 数据连接:使用外部数据源元数据,若集群异常或删除时将不影响元数据,适用于存储计算分离的场景。
支持Hive或Ranger组件的集群支持该功能。
组件名
当“数据连接”功能开启时,该参数有效。用于表示可以设置外部数据源的组件类型。
- Hive
- Ranger
数据连接类型
当“数据连接”功能开启时,该参数有效。用于表示外部数据源的类型。
- Hive组件支持的数据连接类型:
- RDS服务MySQL数据库
- 本地数据库
- Ranger组件支持的数据连接类型:
- RDS服务MySQL数据库
- 本地数据库
数据连接实例
当“数据连接类型”选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时,该参数有效。用于表示MRS集群与RDS服务数据库连接的名称,该实例必须先创建才能在此处引用。可单击“创建数据连接”进行创建,具体请参考数据连接前置操作和创建数据连接进行操作。
图1 创建集群时配置数据连接