使用catalog连接kerberos安全认证hive on obs

创建MRS Hive连接步骤

1. 通过访问以下地址登录表格存储服务管理控制台：https://console.huaweicloud.com/cloudtable。
2. 用户在CloudTable集群管理界面，选择需要操作的集群进入集群详情页面。
3. 单击tab页中的“连接设置”，弹出连接页面。
4. 单击左上角“新建连接”创建MRS Hive连接。
5. 新建连接类型：安全认证hive on OBS，认证类型选择KERBEROS，OBS按钮开启状态。
   图1 新建连接
   

   表1 参数说明

   参数	描述
   名称	根据连接的数据源类型，用户可以自定义连接名。 说明： 必须以字母开头，由字母、数字、中划线组成，不能包含其他的特殊字符，并且长度为4～64个字符。
   连接器	Doris支持的外部数据目录组件，目前支持可选：Hive。
   Hadoop类型	Doris支持hadoop组件，目前支持的可选：MRS。
   集群名称	MRS集群名称。 说明： Doris只能对接一个kerberos集群中的一个用户。
   Manager IP	MRS Manager的浮动IP地址，选择连接的集群后，ip地址会自动填充。
   认证类型	MRS集群鉴权类型，安全集群可选“KERBEROS”，非安全集群可选“SIMPLE”。选择连接的集群后，安全类型会自动填充。
   连接器版本	MRS集群的数据源组件的版本，HIVE支持3版本，可选：3.X。
   用户名	MRS集群的用户名。
   密码	MRS集群mrs_user_name对应的密码。
   OBS支持	打开按钮，则支持OBS。关闭按钮则不支持OBS。
   yarn.resourcemanager.address	可在yarn-site.xml配置文件查看。 获取参数步骤： 登录MRS集群的Manager页面。 主页>Yarn>实例>ResoureManager>概览>配置文件>yarn-site.xml。 查看地址，返回实例界面查看。
   yarn.resourcemanager.principal	可在yarn-site.xml配置文件查看。 获取参数步骤： 登录MRS集群的Manager页面。 主页>Yarn>实例>ResoureManager>概览>配置文件>yarn-site.xml。

6. 配置好参数后，单击测试。如果测试失败请检查用户名和密码是否正确。
7. 测试完成后，单击确定按钮，连接设置页面会出现一条新的连接记录。

SQL命令

• 创建CATALOG的SQL命令以及参数说明。

  CREATE CATALOG hive_catalog_OBS PROPERTIES (
      'type'='hms',
      'hive.metastore.uris' = 'thrift://192.x.x.x:port,thrift://192.x.x.x:port',
      'hive.metastore.sasl.enabled' = 'true',
      'hive.server2.thrift.sasl.qop'='auth-conf',
      'hive.server2.authentication' = 'KERBEROS',
      'hive.server2.authentication.kerberos.principal' = 'hive/hadoop.99261318_1115_4b1a_bcbd_f944f2d68731.com@99261318_1115_4B1A_BCBD_F944F2D68731.COM',
      'hive.metastore.kerberos.principal' = 'hive/hadoop.99261318_1115_4b1a_bcbd_f944f2d68731.com@99261318_1115_4B1A_BCBD_F944F2D68731.COM',
      'hadoop.security.authentication'='kerberos',
      'hadoop.kerberos.principal' = 'USER_NAME',
      'hive.version' = '3.1.0',
      'fs.defaultFS'='hdfs://hacluster',
      'hadoop.rpc.protection'='privacy',
      'AWS_ACCESS_KEY' = '***',
      'AWS_SECRET_KEY' = '***',
      'AWS_ENDPOINT' = 'obs.cn-north-7.ulanqab.huawei.com',
      'AWS_REGION' = 'cn-north-7',
      'yarn.resourcemanager.address' = '192.X.X.X:port',   
      'yarn.resourcemanager.principal' = 'mapred/hadoop.hadoop.com@HADOOP.COM'
  );

  表2 参数说明

  参数	说明
  type	对接外部数据类型。
  hive.metastore.uris	hive元数据uri，可在hive-site.xml配置文件查看。
  hive.metastore.sasl.enabled	可在hive-site.xml配置文件查看。
  hive.server2.thrift.sasl.qop	可在hive-site.xml配置文件查看。
  hive.server2.authentication	认证类型，在集群连接页面查看。
  hive.server2.authentication.kerberos.principal	可在hive-site.xml配置文件查看。
  hive.metastore.kerberos.principal	可在hive-site.xml配置文件查看。
  hadoop.security.authentication	可在core-site.xml配置文件查看。
  hadoop.kerberos.principal	\
  hive.version	Hive版本。
  fs.defaultFS	可在core-site.xml配置文件查看。
  hadoop.rpc.protection	可在core-site.xml配置文件查看。
  AWS_ACCESS_KEY	access key，获取方式请参见对象存储服务的获取访问密钥（AK/SK）章节。
  AWS_SECRET_KEY	secret key，获取方式请参见对象存储服务的获取访问密钥（AK/SK）章节。
  AWS_ENDPOINT	obs地址，获取方式见请参见对象存储服务的获取终端节点章节。
  AWS_REGION	obs region，在obs页面查看。

• 参数获取方法。
  1. 连接mrs集群，请参见使用mrs客户端章节。
  2. 进入client目录下，显示出MRS的全部组件，目前使用的组件有HDFS和Hive组件。

     cd /opt/Bigdata/client/

     

     HDFS组件中包含了core-site.xml、hdfs-site.xml配置文件，Hive组件中包含了hive-site.xml配置。

  3. 进入组件中的配置文件查看参数。
     1. HDFS组件查看。

        cd ./HDFS/hadoop/etc/

        进入hadoop目录。

        cd hadoop/hdfs-site.xml

        打开hdfs-site.xml配置文件，查找相关参数。

        vim hdfs-site.xml

     2. Hive组件查看。

        /opt/Bigdata/client/Hive/config/hive-site.xml

        打开hive-site.xml配置文件，查找相关参数。

        vim hive-site.xml

        

        catalog中的obs指的是obs桶，不是obs并行文件系统，目前还不支持obs并行文件系统。