更新时间:2024-09-04 GMT+08:00

配置Spark数据传输加密

操作场景

本章节指导用户设置Spark安全通道加密,以增强安全性。

该章节仅适用于MRS 3.x及之后版本。

配置Spark数据传输加密

参数修改入口:登录Manager页面,选择“集群 > 服务 > Spark > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。

配置后应重启对应服务使参数生效。

表1 参数说明

配置项

描述

默认值

spark.authenticate

是否开启Spark内部安全认证。

安全模式:true

普通模式:false

spark.authenticate.enableSaslEncryption

是否启用基于SASL的加密通信。

安全模式:true

普通模式:false

spark.network.crypto.enabled

是否启用基于AES的RPC加密。

安全模式:true

普通模式:false

spark.network.sasl.serverAlwaysEncrypt

是否为已经启用SASL认证的端口禁止未加密连接。

false

spark.network.crypto.keyLength

要生成的加密密钥的长度。

256

spark.network.crypto.keyFactoryAlgorithm

生成加密密钥时使用的算法。

PBKDF2WithHmacSHA1

spark.io.encryption.enabled

启用本地磁盘I/O加密。

安全模式:true

普通模式:false

spark.io.encryption.keygen.algorithm

生成I/O加密密钥时要使用的算法。

HmacSHA256

spark.io.encryption.keySizeBits

I/O加密密钥大小(以位为单位)。

256

spark.ssl.ui.enabled

是否为WebUI连接启用SSL认证。

安全模式:true

普通模式:false