更新时间:2024-08-13 GMT+08:00
分享

运行MRS作业时如何读取OBS加密数据

MRS 1.9.x支持使用OBS文件系统中加密后的数据来运行作业,同时支持将加密后的作业运行结果存储在OBS文件系统中。目前仅支持通过OBS协议访问数据。

OBS支持使用KMS密钥的加解密方式对数据进行加解密,所有的加解密操作都在OBS完成,同时密钥管理在DEW服务。

如需在MRS中使用OBS加密功能,用户需要有“KMS Administrator”权限,且需要在相应组件进行如下配置。

如果集群同时开启“OBS权限控制”功能,此时会使用ECS配置的默认委托“MRS_ECS_DEFAULT_AGENCY”或者用户设置的自定义委托的AK/SK访问OBS服务,同时OBS服务会使用接收到的AK/SK访问数据加密服务获取KMS密钥状态,因此需要在使用的委托上绑定“KMS Administrator”策略,否则在处理加密数据时OBS会返回“403 Forbidden”的错误信息。目前MRS服务会在默认委托“MRS_ECS_DEFAULT_AGENCY”绑定“KMS Administrator”策略,用户使用的自定义委托则需要用户自己绑定。

前提条件

如需使用OBS加密功能,请先配置MRS访问OBS功能,具体请参考配置MRS集群通过IAM委托对接OBS

Hive配置

  1. 登录MRS控制台,在左侧导航栏选择现有集群 ,单击集群名称。
  2. 选择“组件管理 > Hive > 服务配置”。
  3. 将“基础配置”切换为“全部配置”,搜索并配置如下参数:

    表1 数据加密参数

    参数

    取值

    说明

    fs.obs.server-side-encryption-type

    SSE-KMS

    • SSE-KMS:表示使用KMS密钥的加解密方式。
    • NONE:表示关闭加密功能。

    fs.obs.server-side-encryption-key

    -

    表示用来加密的KMS密钥ID。该参数可不配置。

    当参数“fs.obs.server-side-encryption-type”配置为“SSE-KMS”且该参数未配置时,OBS会使用OBS服务的默认KMS密钥完成加密。

    fs.obs.connection.ssl.enabled

    true

    标识是否与OBS建立安全连接。

    • true:开启安全连接,当需要使用OBS加解密功能时该参数必须配置为“true”。
    • false:关闭安全连接。

  4. 单击“保存配置”,根据界面提示保存修改的参数。

Hadoop配置

方式一:通过界面配置。

  1. 登录MRS控制台,在左侧导航栏选择现有集群 ,单击集群名称。
  2. 选择“组件管理 > HDFS > 服务配置”
  3. 将“基础配置”切换为“全部配置”,搜索并配置如下参数:

    表2 数据加密参数

    参数

    取值

    说明

    fs.obs.server-side-encryption-type

    SSE-KMS

    • SSE-KMS:表示使用KMS密钥的加解密方式。
    • NONE:表示关闭加密功能。

    fs.obs.server-side-encryption-key

    -

    表示用来加密的KMS密钥ID。该参数可不配置。

    当参数“fs.obs.server-side-encryption-type”配置为“SSE-KMS”且该参数未配置时,OBS会使用OBS服务的默认KMS密钥完成加密。

    fs.obs.connection.ssl.enabled

    true

    标识是否与OBS建立安全连接。

    • true:开启安全连接,当需要使用OBS加解密功能时该参数必须配置为“true”。
    • false:关闭安全连接。

  4. 单击“保存配置”,根据界面提示保存修改的参数。
  5. root用户登录Master节点,密码为用户创建集群时设置的root密码(若集群存在多个Master节点,请分别登录每个Master节点进行5~7的操作)。
  6. 执行以下命令,切换到客户端目录,例如“/opt/Bigdata/client”。

    cd /opt/Bigdata/client

  7. 执行以下命令更新客户端配置,并输入用户名和密码,用户名为admin,密码为用户创建集群时设置的admin密码。

    ./ autoRefreshConfig.sh

方式二:通过客户端配置文件配置。

在Master节点上的客户端配置文件(例如“/opt/Bigdata/client/HDFS/hadoop/etc/hadoop/core-site.xml”)中的增加如下参数配置(若集群存在多个Master节点,请分别登录每个Master节点进行该操作)。

表3 数据加密参数

参数

取值

说明

fs.obs.server-side-encryption-type

SSE-KMS

  • SSE-KMS:表示使用KMS密钥的加解密方式。
  • NONE:表示关闭加密功能。

fs.obs.server-side-encryption-key

-

表示用来加密的KMS密钥ID。该参数可不配置。

当参数“fs.obs.server-side-encryption-type”配置为“SSE-KMS”且该参数未配置时,OBS会使用OBS服务的默认KMS密钥完成加密。

fs.obs.connection.ssl.enabled

true

标识是否与OBS建立安全连接。

  • true:开启安全连接,当需要使用OBS加解密功能时该参数必须配置为“true”。
  • false:关闭安全连接。

HBase配置

方式一:通过界面配置。

  1. 登录MRS控制台,在左侧导航栏选择现有集群 ,单击集群名称。
  2. 选择“组件管理 > HBase > 服务配置”
  3. 将“基础配置”切换为“全部配置”,搜索并配置如下参数:

    表4 数据加密参数

    参数

    取值

    说明

    fs.obs.server-side-encryption-type

    SSE-KMS

    • SSE-KMS:表示使用KMS密钥的加解密方式。
    • NONE:表示关闭加密功能。

    fs.obs.server-side-encryption-key

    -

    表示用来加密的KMS密钥ID。该参数可不配置。

    当参数“fs.obs.server-side-encryption-type”配置为“SSE-KMS”且该参数未配置时,OBS会使用OBS服务的默认KMS密钥完成加密。

    fs.obs.connection.ssl.enabled

    true

    标识是否与OBS建立安全连接。

    • true:开启安全连接,当需要使用OBS加解密功能时该参数必须配置为“true”。
    • false:关闭安全连接。

  4. 单击“保存配置”,根据界面提示保存修改的参数。
  5. 以root用户登录Master节点,密码为用户创建集群时设置的root密码(若集群存在多个Master节点,请分别登录每个Master节点进行5~7的操作)。
  6. 执行以下命令,切换到客户端目录,例如“/opt/Bigdata/client”。

    cd /opt/Bigdata/client

  7. 执行以下命令更新客户端配置,并输入用户名和密码,用户名为admin,密码为用户创建集群时设置的admin密码。

    ./ autoRefreshConfig.sh

方式二:通过客户端配置文件配置。

在Master节点上的客户端配置文件(例如“/opt/Bigdata/client/HBase/hbase/conf/core-site.xml”)中的增加如下参数配置(若集群存在多个Master节点,请分别登录每个Master节点进行该操作)。

表5 数据加密参数

参数

取值

说明

fs.obs.server-side-encryption-type

SSE-KMS

  • SSE-KMS:表示使用KMS密钥的加解密方式。
  • NONE:表示关闭加密功能。

fs.obs.server-side-encryption-key

-

表示用来加密的KMS密钥ID。该参数可不配置。

当参数“fs.obs.server-side-encryption-type”配置为“SSE-KMS”且该参数未配置时,OBS会使用OBS服务的默认KMS密钥完成加密。

fs.obs.connection.ssl.enabled

true

标识是否与OBS建立安全连接。

  • true:开启安全连接,当需要使用OBS加解密功能时该参数必须配置为“true”。
  • false:关闭安全连接。

Spark配置

方式一:通过界面配置。

  1. 登录MRS控制台,在左侧导航栏选择现有集群 ,单击集群名称。
  2. 选择“组件管理 > Spark > 服务配置”
  3. 将“基础配置”切换为“全部配置”,搜索并配置如下参数:

    表6 数据加密参数

    参数

    取值

    说明

    fs.obs.server-side-encryption-type

    SSE-KMS

    • SSE-KMS:表示使用KMS密钥的加解密方式。
    • NONE:表示关闭加密功能。

    fs.obs.server-side-encryption-key

    -

    表示用来加密的KMS密钥ID。该参数可不配置。

    当参数“fs.obs.server-side-encryption-type”配置为“SSE-KMS”且该参数未配置时,OBS会使用OBS服务的默认KMS密钥完成加密。

    fs.obs.connection.ssl.enabled

    true

    标识是否与OBS建立安全连接。

    • true:开启安全连接,当需要使用OBS加解密功能时该参数必须配置为“true”。
    • false:关闭安全连接。

  4. 单击“保存配置”,根据界面提示保存修改的参数。
  5. 以root用户登录Master节点,密码为用户创建集群时设置的root密码(若集群存在多个Master节点,请分别登录每个Master节点进行5~7的操作)。
  6. 执行以下命令,切换到客户端目录,例如“/opt/Bigdata/client”。

    cd /opt/Bigdata/client

  7. 执行以下命令更新客户端配置,并输入用户名和密码,用户名为admin,密码为用户创建集群时设置的admin密码。

    ./autoRefreshConfig.sh

方式二:通过客户端配置文件配置。

在Master节点上的客户端配置文件(例如“/opt/Bigdata/client/Spark/spark/conf/core-site.xml”)中的增加如下参数配置(若集群存在多个Master节点,请分别登录每个Master节点进行该操作)。

表7 数据加密参数

参数

取值

说明

fs.obs.server-side-encryption-type

SSE-KMS

  • SSE-KMS:表示使用KMS密钥的加解密方式。
  • NONE:表示关闭加密功能。

fs.obs.server-side-encryption-key

-

表示用来加密的KMS密钥ID。该参数可不配置。

当参数“fs.obs.server-side-encryption-type”配置为“SSE-KMS”且该参数未配置时,OBS会使用OBS服务的默认KMS密钥完成加密。

fs.obs.connection.ssl.enabled

true

标识是否与OBS建立安全连接。

  • true:开启安全连接,当需要使用OBS加解密功能时该参数必须配置为“true”。
  • false:关闭安全连接。

Presto配置

  1. 登录MRS控制台,在左侧导航栏选择现有集群 ,单击集群名称。
  2. 选择“组件管理 > Presto > 服务配置”
  3. 将“基础配置”切换为“全部配置”,搜索并配置如下参数:

    表8 数据加密参数

    参数

    取值

    说明

    fs.obs.server-side-encryption-type

    SSE-KMS

    • SSE-KMS:表示使用KMS密钥的加解密方式。
    • NONE:表示关闭加密功能。

    fs.obs.server-side-encryption-key

    -

    表示用来加密的KMS密钥ID。该参数可不配置。

    当参数“fs.obs.server-side-encryption-type”配置为“SSE-KMS”且该参数未配置时,OBS会使用OBS服务的默认KMS密钥完成加密。

    fs.obs.connection.ssl.enabled

    true

    标识是否与OBS建立安全连接。

    • true:开启安全连接,当需要使用OBS加解密功能时该参数必须配置为“true”。
    • false:关闭安全连接。

  4. 单击“保存配置”,根据界面提示保存修改的参数。

相关文档