配置HetuEngine通过Guardian访问OBS
对接OBS
MRS集群支持HetuEngine服务在创建表时指定Location为OBS文件系统路径,也支持基于Hive Metastore方式对接OBS。
- 在创建表时指定Location为OBS文件系统路径
- 如果存在运行中的HetuEngine计算实例需重启该实例。
以具备访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接,进入HSConsole界面,在“计算实例”页签的实例列表中的“操作”列单击“重启”,根据界面提示重启实例。
- 以客户端安装用户登录HetuEngine服务客户端所在节点,执行以下命令:
source 客户端安装目录/bigdata_env
- 根据集群认证模式,完成HetuEngine客户端登录。
- 集群已启用Kerberos认证(安全模式):执行以下命令,完成用户认证并登录HetuEngine客户端。
kinit HetuEngine组件操作用户
hetu-cli --catalog hive --tenant default --schema default
需参考Ranger权限配置为该用户在Ranger中赋予相应权限。
- 集群未启用Kerberos认证(普通模式):执行以下命令,登录HetuEngine客户端。
hetu-cli --catalog hive --tenant default --schema default --user HetuEngine组件操作用户
- 集群已启用Kerberos认证(安全模式):执行以下命令,完成用户认证并登录HetuEngine客户端。
- 在创建表时指定Location为OBS文件系统路径。
create table test(name string) with (location = 'obs://OBS并行文件系统名称/user/hive/warehouse/test');
- 如果存在运行中的HetuEngine计算实例需重启该实例。
- 基于Hive Metastore方式对接OBS
- 已参考配置Hive基于MetaStore方式对接OBS完成相关配置操作。
- 登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine > 更多 > 同步配置”,同步配置完成后,再选择“更多 > 同步配置”,根据提示重启HetuEngine服务。
如果有运行中的HetuEngine计算实例,重启服务前需先停止计算实例,服务重启成功后再启动计算实例。
- 登录HetuEngine客户端创建Schema或表时,无需指定Location,默认存储在OBS上。
Ranger权限配置
集群已启用Kerberos认证(安全模式)的HetuEngine在存算分离场景和非存算分离场景下不区分Ranger赋权方式,详细操作请参见添加HetuEngine的Ranger访问权限策略。