更新时间:2022-02-24 GMT+08:00

Hive开源增强特性

Hive开源增强特性:支持HDFS Colocation

HDFS Colocation(同分布)是HDFS提供的数据分布控制功能,利用HDFS Colocation接口,可以将存在关联关系或者可能进行关联操作的数据存放在相同的存储节点上。

Hive支持HDFS的Colocation功能,即在创建Hive表时,通过设置表文件分布的locator信息,可以将相关表的数据文件存放在相同的存储节点上,从而使后续的多表关联的数据计算更加方便和高效。

Hive开源增强特性:支持列加密功能

Hive支持对表的某一列或者多列进行加密。在创建Hive表时,可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时,即可将对应的列进行加密。Hive列加密不支持视图以及Hive over HBase场景。

Hive列加密机制目前支持的加密算法有两种,具体使用的算法在建表时指定。

  • AES(对应加密类名称为:org.apache.hadoop.hive.serde2.AESRewriter)
  • SMS4(对应加密类名称为:org.apache.hadoop.hive.serde2.SMS4Rewriter)

Hive开源增强特性:支持HBase删除功能

由于底层存储系统的原因,Hive并不能支持对单条表数据进行删除操作,但在Hive on HBase功能中,MRS解决方案中的Hive提供了对HBase表的单条数据的删除功能,通过特定的语法,Hive可以将自己在HBase表中符合条件的一条或者多条数据清除。

Hive开源增强特性:支持行分隔符

通常情况下,Hive以文本文件存储的表会以回车作为其行分隔符,即在查询过程中,以回车符作为一行表数据的结束符。

但某些数据文件并不是以回车分隔的规则文本格式,而是以某些特殊符号分割其规则文本。

MRS Hive支持指定不同的字符或字符组合作为Hive文本数据的行分隔符。

Hive开源增强特性:支持基于HTTPS/HTTP协议的REST接口切换

WebHCat为Hive提供了对外可用的REST接口,开源社区版本默认使用HTTP协议。

MRS Hive支持使用更安全的HTTPS协议,并且可以在两种协议间自由切换。

Hive开源增强特性:支持开启Transform功能

Hive开源社区版本禁止Transform功能。 MRS Hive提供配置开关,Transform功能默认为禁止,与开源社区版本保持一致。

用户可修改配置开关,开启Transform功能,当开启Transform功能时,存在一定的安全风险。

Hive开源增强特性:支持创建临时函数不需要ADMIN权限的功能

Hive开源社区版本创建临时函数需要用户具备ADMIN权限。MRS Hive提供配置开关,默认为创建临时函数需要ADMIN权限,与开源社区版本保持一致。

用户可修改配置开关,实现创建临时函数不需要ADMIN权限。

Hive开源增强特性:支持数据库授权

Hive开源社区版本只支持数据库的拥有者在数据库中创建表。MRS Hive支持授予用户在数据库中创建表“CREATE”和查询表“SELECT”权限。当授予用户在数据库中查询的权限之后,系统会自动关联数据库中所有表的查询权限。

Hive开源增强特性:支持列授权

Hive开源社区版本只支持表级别的权限控制。MRS Hive支持列级别的权限控制,可授予用户列级别权限,例如查询“SELECT”、插入“INSERT”、修改“UPDATE”权限。