更新时间:2025-07-25 GMT+08:00
分享

配置HetuEngine通过Guardian访问OBS

参考配置Guardian服务不启用Ranger OBS路径鉴权配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后,即可在HetuEngine客户端创建指定Location为OBS文件系统路径的表,也支持基于Hive Metastore方式对接OBS。

前提条件

如果参考配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS,还需参考Ranger权限配置在Ranger中为组件操作用户赋予OBS路径的“Read”和“Write”权限。

HetuEngine对接OBS

MRS集群支持HetuEngine服务在创建表时指定Location为OBS文件系统路径,也支持基于Hive Metastore方式对接OBS。

  • 在创建表时指定Location为OBS文件系统路径
    1. 如果存在运行中的HetuEngine计算实例需重启该实例。

      以具备访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接,进入HSConsole界面,在“计算实例”页签的实例列表中的“操作”列单击“重启”,根据界面提示重启实例。

    2. 以客户端安装用户登录HetuEngine服务客户端所在节点,执行以下命令:
      source 客户端安装目录/bigdata_env
    3. 根据集群是否启用了Kerberos认证,完成HetuEngine客户端登录。
      • 集群已启用Kerberos认证(安全模式):执行以下命令,完成用户认证并登录HetuEngine客户端。

        认证用户:

        kinit HetuEngine组件操作用户

        登录HetuEngine客户端:

        hetu-cli --catalog hive --tenant default --schema default
      • 集群未启用Kerberos认证(普通模式):执行以下命令,登录HetuEngine客户端。
        hetu-cli --catalog hive --tenant default --schema default --user HetuEngine组件操作用户
    4. 在创建表时指定Location为OBS文件系统路径。
      create table test(name string) with (location = 'obs://OBS并行文件系统名称/user/hive/warehouse/test');
  • 基于Hive Metastore方式对接OBS
    1. 已参考配置Hive基于MetaStore方式对接OBS完成相关配置操作。
    2. 登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine > 更多 > 同步配置”,同步配置完成后,再选择“更多 > 同步配置”,根据提示重启HetuEngine服务。

      如果有运行中的HetuEngine计算实例,重启服务前需先停止计算实例,服务重启成功后再启动计算实例。

    3. 登录HetuEngine客户端创建Schema或表时,无需指定Location,默认存储在OBS上。

Ranger权限配置

集群已启用Kerberos认证(安全模式)的HetuEngine在存算分离场景和非存算分离场景下不区分Ranger赋权方式,详细操作请参见添加HetuEngine的Ranger访问权限策略

对接OBS后,如需通过Ranger配置组件关于OBS相关路径的权限策略,需确保OBS服务已开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS服务运维人员。

相关文档