连接管理概述
Doris的Hive外表自带create catalog能力,通过连接Hive Metastore,或者兼容Hive Metastore的元数据服务自动获取Hive库表信息,并进行表数据查询,从而避免了传统外部数据目录多需要手动映射以及数据迁移的复杂工程。
背景
许多客户的Hive表数据在OBS或HDFS上,需要Doris对接Hive外表,且Hive集群分为安全集群与非安全集群,所以可以使用以下4种方式进行数据查询:
- 使用catalog连接非安全认证hive on hdfs。
- 使用catalog连接kerberos安全认证hive on hdfs。
- 使用catalog连接非安全认证hive on obs。
- 使用catalog连接kerberos安全认证hive on obs。
Kerberos介绍
Hadoop社区版本提供两种认证方式Kerberos认证(安全模式)和Simple认证(普通模式),在创建集群时,MRS支持配置是否启用Kerberos认证。
在安全模式下MRS集群统一使用Kerberos认证协议进行安全认证。
- 功能
使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。
- 使用前提
- 原理结构图
Kerberos原理架构图如下图所示,详细介绍请参见MRS服务的安全认证原理以及认证机制章节。图1 原理架构图
表1 参数说明 参数
说明
Application Client
应用客户端,通常是需要提交任务(或者作业)的应用程序。
Application Server
应用服务端,通常是应用客户端需要访问的应用程序。
Kerberos
提供安全认证的服务。
KerberosAdmin
提供认证用户管理的进程。
KerberosServer
提供认证票据分发的进程。