配置Hive列加密功能
操作场景
在数据安全和合规性要求日益严格的背景下,企业中许多敏感数据需要进行加密存储,以防止数据泄露。Hive作为数据仓库,存储了大量业务数据,如果敏感列以明文形式存储,一旦HDFS被非法访问,敏感数据将直接暴露。如何在不影响业务查询的前提下,对Hive表中的敏感列进行加密存储?Hive提供列级加密功能,支持在创建表时指定加密列和加密算法,数据写入时自动加密,查询时自动解密,对上层业务透明。
本文介绍如何配置Hive列加密功能。
- 列加密(Column Encryption):Hive提供的数据加密功能,可以对表中的一个或多个列进行加密存储。加密后的数据在HDFS上以密文形式存储,查询时Hive自动解密返回明文,对上层应用透明。
- AES(Advanced Encryption Standard):高级加密标准,一种对称加密算法,广泛应用于数据加密。AES加密强度高,性能好,是业界标准的加密算法。AES对应加密类名称为“org.apache.hadoop.hive.serde2.AESRewriter”。
- SM4:也称为SMS4,一种对称加密算法,在国内金融、政务等领域广泛应用。对应加密类名称为“org.apache.hadoop.hive.serde2.SMS4Rewriter”。
将原始数据从普通Hive表导入到Hive列加密表后,在不影响其他业务情况下,建议删除普通Hive表上原始数据,避免保留一张未加密的表存在安全风险。
约束与限制
- 只支持对存储在HDFS上的TextFile和SequenceFile文件格式的Hive表进行列加密。
- 不支持对视图和Hive over HBase表进行列加密。
- 创建列加密表时,表所在的目录必须是空目录。
- 加密算法一旦指定,不能修改。如需更换加密算法,需要重新创建表。
前提条件
- 已安装集群客户端,安装客户端具体操作请参见安装客户端。
- 已准备Hive组件业务用户,对应用户需具有创建Hive表的权限,例如,该用户属于“hive”、“hadoop”用户组,主组为“hive”。创建Hive用户具体操作请参见创建Hive用户并绑定角色。
创建Hive列加密表
- 以客户端安装用户登录安装客户端的节点。
- 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。
切换至客户端安装目录下:
cd 客户端安装目录加载环境变量:
source bigdata_env
认证用户,如果集群未开启Kerberos认证,请跳过该操作:
kinit Hive业务用户 - 执行以下命令登录Hive客户端。
beeline
- 在创建表时指定相应的加密列和加密算法:
create table <[db_name.]table_name> (<col_name1> <data_type> ,<col_name2> <data_type>,<col_name3> <data_type>,<col_name4> <data_type>) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES ('column.encode.columns'='<col_name2>,<col_name3>', 'column.encode.classname'='org.apache.hadoop.hive.serde2.AESRewriter')STORED AS TEXTFILE;
或者使用如下语句:
create table <[db_name.]table_name> (<col_name1> <data_type> ,<col_name2> <data_type>,<col_name3> <data_type>,<col_name4> <data_type>) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES ('column.encode.indices'='1,2', 'column.encode.classname'='org.apache.hadoop.hive.serde2.SMS4Rewriter') STORED AS TEXTFILE;例如:
create table test1 (id string,name string) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES ('column.encode.columns'='id,name', 'column.encode.classname'='org.apache.hadoop.hive.serde2.AESRewriter')STORED AS TEXTFILE;
其中:
- column.encode.classname:该参数用于指定加密算法,支持“org.apache.hadoop.hive.serde2.SMS4Rewriter”和“org.apache.hadoop.hive.serde2.AESRewriter”。
- column.encode.columns:该参数用于通过列名指定加密列,多列用逗号分隔。
- column.encode.indices:该参数用于通过列序号指定加密列,序号从0开始。0代表第1列,1代表第2列,依次类推。
- 创建列加密表时,表所在的目录必须是空目录。
- 使用insert语句向设置列加密的表中导入数据。
假设test表已存在且有数据,例如,表数据为:
图1 test表数据
执行以下命令导入数据:
insert into table <table_name> select <col_list> from test;
例如:
insert into table test1 select id,name from test;
- 执行以下命令查看加密表的详细元数据信息:
describe formatted test1;命令执行后的回显结果中可查看到加密列及加密类型,例如图2中加密的列为“id,name”,加密类型为“org.apache.hadoop.hive.serde2.AESRewriter”。
- 执行以下命令退出Hive客户端:
!q
- 也可执行以下命令查看加密的Hive表对应的HDFS文件:
hdfs dfs -cat HDFS文件路径例如:
hdfs dfs -cat /user/hive/warehouse/test/000000_0
命令执行后的回显结果如图3所示即表示Hive列加密功能配置成功。
验证操作:
配置完成后,可通过以下方式验证列加密功能是否生效:
- 执行describe formatted test1;命令,查看表元数据中的加密配置信息。
- 执行select * from test1;命令,确认可以正常查询到明文数据。
- 执行hdfs dfs -cat /user/hive/warehouse/test1/000000_0命令,确认HDFS上的数据为密文。
常见问题
- 查询加密表时报错
查询加密表报错可能是因为加密类配置错误、加密列数据类型不匹配、或Hive客户端缺少加密依赖。
请检查建表语句中的“column.encode.classname”参数是否正确。确认加密列的数据类型支持加密。检查Hive客户端是否正确安装。
- 如何更换加密算法
加密算法在建表时指定后不能修改,如需更换加密算法需要重新创建表。
创建新的加密表,使用新的加密算法。将数据从旧表导入到新表。确认数据迁移完成后,删除旧表。
相关文档
- 了解Hive数据操作,请参考Hive数据存储及加密配置。
- 了解Hive常见问题,请参考Hive常见问题。
- 了解Hive各角色日志文件说明,请参考Hive日志介绍。

