更新时间:2024-09-30 GMT+08:00

Hive对接OBS文件系统

使用本章节前已参考配置存算分离集群(委托方式)配置存算分离集群(AKSK方式)完成存算分离集群配置。

建表时指定Location为OBS路径

  1. 使用安装客户端用户登录客户端安装节点。
  2. 执行如下命令初始化环境变量。

    source ${client_home}/bigdata_env

  3. 如果是安全集群,执行以下命令进行用户认证(该用户需要具有Hive操作的权限),如果当前集群未启用Kerberos认证,则无需执行此命令。

    kinit Hive组件操作用户

  4. 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置”。

    在左侧的导航列表中选择“Hive > 自定义”。在自定义配置项中,给参数“hdfs.site.customized.configs”添加配置项“dfs.namenode.acls.enabled”,设置值为“false”

  5. 保存并重启Hive服务。
  6. 进入beeline客户端,在创建表时指定Location为OBS文件系统路径。

    beeline

    create table test(name string) location "obs://OBS并行文件系统名称/user/hive/warehouse/test";

    需要添加组件操作用户到Ranger策略中的URL策略,URL填写对象在obs上的完整路径。权限选择Read, Write 权限,其他权限不涉及URL策略。