更新时间:2024-11-29 GMT+08:00

HetuEngine组件对接OBS

对接OBS

MRS集群支持HetuEngine服务在创建表时指定Location为OBS文件系统路径,也支持基于Hive Metastore方式对接OBS。

  • 在创建表时指定Location为OBS文件系统路径
    1. 如果存在运行中的HetuEngine计算实例需重启该实例。

      以具备访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接,进入HSConsole界面,在“计算实例”页签的实例列表中的“操作”列单击“重启”,根据界面提示重启实例。

    2. 以客户端安装用户登录HetuEngine服务客户端所在节点,执行以下命令:

      source 客户端安装目录/bigdata_env

    3. 根据集群认证模式,完成HetuEngine客户端登录。
      • 集群已启用Kerberos认证(安全模式):执行以下命令,完成用户认证并登录HetuEngine客户端。

        kinit HetuEngine组件操作用户

        hetu-cli --catalog hive --tenant default --schema default

        需参考Ranger权限配置为该用户在Ranger中赋予相应权限。

      • 集群未启用Kerberos认证(普通模式):执行以下命令,登录HetuEngine客户端。

        hetu-cli --catalog hive --tenant default --schema default --user HetuEngine组件操作用户

    4. 在创建表时指定Location为OBS文件系统路径。

      create table test(name string) with (location = 'obs://OBS并行文件系统名称/user/hive/warehouse/test');

  • 基于Hive Metastore方式对接OBS
    1. 已参考配置Hive基于MetaStore方式对接OBS完成相关配置操作。
    2. 登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine > 更多 > 同步配置”,同步配置完成后,再选择“更多 > 同步配置”,根据提示重启HetuEngine服务。

      如果有运行中的HetuEngine计算实例,重启服务前需先停止计算实例,服务重启成功后再启动计算实例。

    3. 登录HetuEngine客户端创建Schema或表时,无需指定Location,默认存储在OBS上。

Ranger权限配置

集群已启用Kerberos认证(安全模式)的HetuEngine在存算分离场景和非存算分离场景下不区分Ranger赋权方式。