更新时间:2024-09-04 GMT+08:00

配置Hadoop数据传输加密

设置安全通道加密

默认情况下,组件间的通道是不加密的。您可以配置如下参数,设置安全通道是加密的。

参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > 服务名 > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。

  • 修改配置参数后需要重启对应服务以使配置生效。
  • 该章节仅适用于MRS 3.x及之后版本。
表1 参数说明

服务名称

配置参数

说明

缺省值

HBase

hbase.rpc.protection

设置HBase通道是否加密,包含HBase客户端访问HBase服务端的RPC(remote procedure call)通道,HMaster和RegionServer间的RPC通道。设置为“privacy”表示通道加密,认证、完整性和隐私性功能都全部开启,设置为“integrity”表示不加密,只开启认证和完整性功能,设置为“authentication”表示不加密,仅要求认证报文,不要求完整性和隐私性。

说明:

privacy会对传输内容进行加密,包括用户Token等敏感信息,以确保传输信息的安全,但是该方式对性能影响很大,对比另外两种方式,会带来约60%的读写性能下降。请根据企业安全要求修改配置,且客户端与服务端中该配置项需使用相同设置。

  • 安全模式:privacy
  • 普通模式:authentication

HDFS

dfs.encrypt.data.transfer

设置客户端访问HDFS的通道和HDFS数据传输通道是否加密。HDFS数据传输通道包括DataNode间的数据传输通道,客户端访问DataNode的DT(Data Transfer)通道。设置为“true”表示加密,默认不加密。

false

HDFS

dfs.encrypt.data.transfer.algorithm

设置客户端访问HDFS的通道和HDFS数据传输通道的加密算法。只有在“dfs.encrypt.data.transfer”配置项设置为“true”,此参数才会生效。

缺省值为“3des”,表示采用3DES算法进行加密。此处的值还可以设置为“rc4”,避免出现安全隐患,不推荐设置为该值。

3des

HDFS

hadoop.rpc.protection

设置Hadoop中各模块的RPC通道是否加密。包括:

  • 客户端访问HDFS的RPC通道。
  • HDFS中各模块间的RPC通道,如DataNode与NameNode间的RPC通道。
  • 客户端访问Yarn的RPC通道。
  • NodeManager和ResourceManager间的RPC通道。
  • Spark访问Yarn,Spark访问HDFS的RPC通道。
  • MapReduce访问Yarn,Mapreduce访问HDFS的RPC通道。
  • HBase访问HDFS的RPC通道。

默认设置为“privacy”表示加密,“authentication”表示不加密。

说明:

您可以在HDFS组件的配置界面中设置该参数的值,设置后全局生效,即Hadoop中各模块的RPC通道是否加密全部生效。

  • 安全模式:privacy
  • 普通模式:authentication

Web最大并发连接数限制

为了保护Web服务器的可靠性,当访问的用户连接数达到一定数量之后,对新增用户的连接进行限制。防止大量同时登录和访问,导致服务不可用,同时避免DDOS攻击。

参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > 服务名 > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。

表2 参数说明

服务名称

配置参数

说明

缺省值

HDFS/Yarn

hadoop.http.server.MaxRequests

设置各组件Web的最大并发连接数限制。

2000

Spark2x

spark.connection.maxRequest

JobHistory允许的最大请求连接数。

5000