HetuEngine组件对接OBS

对接OBS

MRS集群支持HetuEngine服务在创建表时指定Location为OBS文件系统路径，也支持基于Hive Metastore方式对接OBS。

• 在创建表时指定Location为OBS文件系统路径
  1. 如果存在运行中的HetuEngine计算实例需重启该实例。

     以具备访问HetuEngine WebUI界面的用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接，进入HSConsole界面，在“计算实例”页签的实例列表中的“操作”列单击“重启”，根据界面提示重启实例。

  2. 以客户端安装用户登录HetuEngine服务客户端所在节点，执行以下命令：

     source 客户端安装目录/bigdata_env

  3. 根据集群认证模式，完成HetuEngine客户端登录。
     • 集群已启用Kerberos认证（安全模式）：执行以下命令，完成用户认证并登录HetuEngine客户端。

       kinit HetuEngine组件操作用户

       hetu-cli --catalog hive --tenant default --schema default

       需参考Ranger权限配置为该用户在Ranger中赋予相应权限。

     • 集群未启用Kerberos认证（普通模式）：执行以下命令，登录HetuEngine客户端。

       hetu-cli --catalog hive --tenant default --schema default --user HetuEngine组件操作用户

  4. 在创建表时指定Location为OBS文件系统路径。

     create table test(name string) with (location = 'obs://OBS并行文件系统名称/user/hive/warehouse/test');

• 基于Hive Metastore方式对接OBS
  1. 已参考配置Hive基于MetaStore方式对接OBS完成相关配置操作。
  2. 登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine > 更多 > 同步配置”，同步配置完成后，再选择“更多 > 同步配置”，根据提示重启HetuEngine服务。
     

     如果有运行中的HetuEngine计算实例，重启服务前需先停止计算实例，服务重启成功后再启动计算实例。

  3. 登录HetuEngine客户端创建Schema或表时，无需指定Location，默认存储在OBS上。

Ranger权限配置

集群已启用Kerberos认证（安全模式）的HetuEngine在存算分离场景和非存算分离场景下不区分Ranger赋权方式，详细操作请参见添加HetuEngine的Ranger访问权限策略。