配置Hadoop数据传输加密
设置安全通道加密
默认情况下,组件间的通道是不加密的。您可以配置如下参数,设置安全通道是加密的。
参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > 服务名 > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。
- 修改配置参数后需要重启对应服务以使配置生效。
- 该章节仅适用于MRS 3.x及之后版本。
服务名称 |
配置参数 |
说明 |
缺省值 |
---|---|---|---|
HBase |
hbase.rpc.protection |
设置HBase通道是否加密,包含HBase客户端访问HBase服务端的RPC(remote procedure call)通道,HMaster和RegionServer间的RPC通道。设置为“privacy”表示通道加密,认证、完整性和隐私性功能都全部开启,设置为“integrity”表示不加密,只开启认证和完整性功能,设置为“authentication”表示不加密,仅要求认证报文,不要求完整性和隐私性。
说明:
privacy会对传输内容进行加密,包括用户Token等敏感信息,以确保传输信息的安全,但是该方式对性能影响很大,对比另外两种方式,会带来约60%的读写性能下降。请根据企业安全要求修改配置,且客户端与服务端中该配置项需使用相同设置。 |
|
HDFS |
dfs.encrypt.data.transfer |
设置客户端访问HDFS的通道和HDFS数据传输通道是否加密。HDFS数据传输通道包括DataNode间的数据传输通道,客户端访问DataNode的DT(Data Transfer)通道。设置为“true”表示加密,默认不加密。 |
false |
HDFS |
dfs.encrypt.data.transfer.algorithm |
设置客户端访问HDFS的通道和HDFS数据传输通道的加密算法。只有在“dfs.encrypt.data.transfer”配置项设置为“true”,此参数才会生效。 缺省值为“3des”,表示采用3DES算法进行加密。此处的值还可以设置为“rc4”,避免出现安全隐患,不推荐设置为该值。 |
3des |
HDFS |
hadoop.rpc.protection |
设置Hadoop中各模块的RPC通道是否加密。包括:
默认设置为“privacy”表示加密,“authentication”表示不加密。
说明:
您可以在HDFS组件的配置界面中设置该参数的值,设置后全局生效,即Hadoop中各模块的RPC通道是否加密全部生效。 |
|
Web最大并发连接数限制
为了保护Web服务器的可靠性,当访问的用户连接数达到一定数量之后,对新增用户的连接进行限制。防止大量同时登录和访问,导致服务不可用,同时避免DDOS攻击。
参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > 服务名 > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。
服务名称 |
配置参数 |
说明 |
缺省值 |
---|---|---|---|
HDFS/Yarn |
hadoop.http.server.MaxRequests |
设置各组件Web的最大并发连接数限制。 |
2000 |
Spark2x |
spark.connection.maxRequest |
JobHistory允许的最大请求连接数。 |
5000 |