更新时间:2024-08-15 GMT+08:00
分享

使用catalog连接kerberos安全认证hive on obs

使通过CloudTable集群管理面创建MRS Hive连接。

目前CloudTable Doris暂不支持使用Catalog对接数据存储在并行文件系统的OBS MRS Hive集群 。

创建MRS Hive连接步骤

  1. 通过访问以下地址登录表格存储服务管理控制台:https://console.huaweicloud.com/cloudtable。
  2. 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。
  3. 单击tab页中的“连接设置”,弹出连接页面。
  4. 单击左上角“新建连接”创建MRS Hive连接。
  5. 新建连接类型:安全认证hive on OBS,认证类型选择KERBEROS,OBS按钮开启状态。

    图1 新建连接
    表1 参数说明

    参数

    描述

    名称

    根据连接的数据源类型,用户可以自定义连接名。

    说明:

    必须以字母开头,由字母、数字、中划线组成,不能包含其他的特殊字符,并且长度为4~64个字符。

    连接器

    Doris支持的外部数据目录组件,目前支持可选:Hive。

    Hadoop类型

    Doris支持hadoop组件,目前支持的可选:MRS。

    集群名称

    MRS集群名称。

    说明:

    Doris只能对接一个kerberos集群中的一个用户。

    Manager IP

    MRS Manager的浮动IP地址,选择连接的集群后,ip地址会自动填充。

    认证类型

    MRS集群鉴权类型,安全集群可选“KERBEROS”,非安全集群可选“SIMPLE”。选择连接的集群后,安全类型会自动填充。

    连接器版本

    MRS集群的数据源组件的版本,HIVE支持3版本,可选:3.X。

    用户名

    MRS集群的用户名。

    密码

    MRS集群mrs_user_name对应的密码。

    OBS支持

    打开按钮,则支持OBS。关闭按钮则不支持OBS。

    yarn.resourcemanager.address

    • 可在yarn-site.xml配置文件查看。
    • 获取参数步骤:
      1. 登录MRS集群的Manager页面。
      2. 主页>Yarn>实例>ResoureManager>概览>配置文件>yarn-site.xml。
      3. 查看地址,返回实例界面查看。

    yarn.resourcemanager.principal

    • 可在yarn-site.xml配置文件查看。
    • 获取参数步骤:
      1. 登录MRS集群的Manager页面。
      2. 主页>Yarn>实例>ResoureManager>概览>配置文件>yarn-site.xml。

  6. 配置好参数后,单击测试。如果测试失败请检查用户名和密码是否正确。
  7. 测试完成后,单击确定按钮,连接设置页面会出现一条新的连接记录。

SQL命令

  • 创建CATALOG的SQL命令以及参数说明。
    CREATE CATALOG hive_catalog_OBS PROPERTIES (
        'type'='hms',
        'hive.metastore.uris' = 'thrift://192.x.x.x:port,thrift://192.x.x.x:port',
        'hive.metastore.sasl.enabled' = 'true',
        'hive.server2.thrift.sasl.qop'='auth-conf',
        'hive.server2.authentication' = 'KERBEROS',
        'hive.server2.authentication.kerberos.principal' = 'hive/hadoop.99261318_1115_4b1a_bcbd_f944f2d68731.com@99261318_1115_4B1A_BCBD_F944F2D68731.COM',
        'hive.metastore.kerberos.principal' = 'hive/hadoop.99261318_1115_4b1a_bcbd_f944f2d68731.com@99261318_1115_4B1A_BCBD_F944F2D68731.COM',
        'hadoop.security.authentication'='kerberos',
        'hadoop.kerberos.principal' = 'USER_NAME',
        'hive.version' = '3.1.0',
        'fs.defaultFS'='hdfs://hacluster',
        'hadoop.rpc.protection'='privacy',
        'AWS_ACCESS_KEY' = '***',
        'AWS_SECRET_KEY' = '***',
        'AWS_ENDPOINT' = 'obs.cn-north-7.ulanqab.huawei.com',
        'AWS_REGION' = 'cn-north-7',
        'yarn.resourcemanager.address' = '192.X.X.X:port',   
        'yarn.resourcemanager.principal' = 'mapred/hadoop.hadoop.com@HADOOP.COM'
    );
    表2 参数说明

    参数

    说明

    type

    对接外部数据类型。

    hive.metastore.uris

    hive元数据uri,可在hive-site.xml配置文件查看。

    hive.metastore.sasl.enabled

    可在hive-site.xml配置文件查看。

    hive.server2.thrift.sasl.qop

    可在hive-site.xml配置文件查看。

    hive.server2.authentication

    认证类型,在集群连接页面查看。

    hive.server2.authentication.kerberos.principal

    可在hive-site.xml配置文件查看。

    hive.metastore.kerberos.principal

    可在hive-site.xml配置文件查看。

    hadoop.security.authentication

    可在core-site.xml配置文件查看。

    hadoop.kerberos.principal

    \

    hive.version

    Hive版本。

    fs.defaultFS

    可在core-site.xml配置文件查看。

    hadoop.rpc.protection

    可在core-site.xml配置文件查看。

    AWS_ACCESS_KEY

    access key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。

    AWS_SECRET_KEY

    secret key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。

    AWS_ENDPOINT

    obs地址,获取方式见请参见对象存储服务的获取终端节点章节。

    AWS_REGION

    obs region,在obs页面查看。

  • 参数获取方法。
    1. 连接mrs集群,请参见使用mrs客户端章节。
    2. 进入client目录下,显示出MRS的全部组件,目前使用的组件有HDFS和Hive组件。
      cd /opt/Bigdata/client/

      HDFS组件中包含了core-site.xml、hdfs-site.xml配置文件,Hive组件中包含了hive-site.xml配置。

    3. 进入组件中的配置文件查看参数。
      1. HDFS组件查看。
        cd ./HDFS/hadoop/etc/

        进入hadoop目录。

        cd hadoop/hdfs-site.xml

        打开hdfs-site.xml配置文件,查找相关参数。

        vim hdfs-site.xml
      2. Hive组件查看。
        /opt/Bigdata/client/Hive/config/hive-site.xml

        打开hive-site.xml配置文件,查找相关参数。

        vim hive-site.xml

        catalog中的obs指的是obs桶,不是obs并行文件系统,目前还不支持obs并行文件系统。

相关文档