Uso de datos de OBS cifrados para la ejecución de trabajos
En MRS 1.9.x , los datos cifrados en sistemas de archivos de OBS se pueden usar para ejecutar trabajos, y los resultados de ejecución de trabajos cifrados se pueden almacenar en sistemas de archivos de OBS. Actualmente, solo se puede acceder a los datos a través de un protocolo de OBS.
OBS admite cifrado y descifrado de datos mediante claves de KMS. Todas las operaciones de encriptación y descifrado se realizan en OBS, y las claves son gestionadas por DEW.
Para utilizar la función de encriptación OBS en MRS, debe tener los permisos de administrador de KMS y configurar la siguiente configuración para el componente correspondiente:
Prerrequisitos
Ha configurado primero la función de acceso a OBS desde MRS para utilizar la función de encriptación de OBS.
Configuración de Hive
- Inicie sesión en la consola de gestión de MRS. En el árbol de navegación de la izquierda, elija y haga clic en el nombre del clúster.
- Elija Components >Hive >Service Configuration.
- Cambie Basic a All y busque y establezca los siguientes parámetros:
Tabla 1 Parámetros de encriptación de datos Parámetro
Valor
Descripción
fs.obs.server-side-encryption-type
SSE-KMS
- SSE-KMS: las claves de KMS se utilizan para encriptación y descifrado
- NONE: La función de encriptación está deshabilitada.
fs.obs.server-side-encryption-key
-
(Opcional) Este parámetro indica un ID de la clave KMS utilizada para la encriptación.
Si fs.obs.server-side-encryption-type se establece en SSE-KMS y este parámetro no se establece, OBS utiliza la clave KMS predeterminada para la encriptación.
fs.obs.connection.ssl.enabled
true
Si desea establecer una conexión segura con OBS.
- true: La conexión segura está habilitada. Para utilizar la encriptación y el descifrado de OBS, este parámetro debe establecerse en true.
- false: La conexión segura está deshabilitada.
- Haga clic en Save Configuration y guarde los parámetros modificados como se le indique.
Configuración de Hadoop
Método 1: Configuración en la GUI
- Inicie sesión en la consola de gestión de MRS. En el árbol de navegación de la izquierda, elija y haga clic en el nombre del clúster.
- Elija Components >HDFS >Service Configuration.
- Cambie Basic a All y busque y establezca los siguientes parámetros:
Tabla 2 Parámetros de encriptación de datos Parámetro
Valor
Descripción
fs.obs.server-side-encryption-type
SSE-KMS
- SSE-KMS: las claves de KMS se utilizan para encriptación y descifrado
- NONE: La función de encriptación está deshabilitada.
fs.obs.server-side-encryption-key
-
ID de la clave de KMS utilizada para encriptación. Este parámetro es opcional.
Si fs.obs.server-side-encryption-type se establece en SSE-KMS y este parámetro no se establece, OBS utiliza la clave KMS predeterminada para la encriptación.
fs.obs.connection.ssl.enabled
true
Si desea establecer una conexión segura con OBS.
- true: La conexión segura está habilitada. Para utilizar la encriptación y el descifrado de OBS, este parámetro debe establecerse en true.
- false: La conexión segura está deshabilitada.
- Haga clic en Save Configuration y seleccione Restart the affected services or instances. Haga clic en OK.
- Inicie sesión en el nodo de Master como usuario root. La contraseña es la contraseña del usuario root que establece al crear el clúster. Si el clúster tiene varios nodos de Master, inicie sesión en cada nodo de Master y repita 5 a 7.
- Ejecute el siguiente comando para cambiar al directorio del cliente, por ejemplo /opt/Bigdata/client:
cd /opt/Bigdata/client
- Ejecute el siguiente comando para actualizar las configuraciones del cliente e introduzca el nombre de usuario y la contraseña. El nombre de usuario es admin y la contraseña es la contraseña del usuario admin que establece al crear el clúster.
./ autoRefreshConfig.sh
Método 2: Configuración a través del archivo de configuración del cliente
Agregue los siguientes parámetros al archivo de configuración del cliente, por ejemplo /opt/Bigdata/client/HDFS/hadoop/etc/hadoop/core-site.xml en el nodo de Master. Si el clúster tiene varios nodos de Master, inicie sesión en cada nodo de Master y realice esta operación.
Parámetro |
Valor |
Descripción |
---|---|---|
fs.obs.server-side-encryption-type |
SSE-KMS |
|
fs.obs.server-side-encryption-key |
- |
ID de la clave de KMS utilizada para encriptación. Este parámetro es opcional. Si fs.obs.server-side-encryption-type se establece en SSE-KMS y este parámetro no se establece, OBS utiliza la clave KMS predeterminada para la encriptación. |
fs.obs.connection.ssl.enabled |
true |
Si desea establecer una conexión segura con OBS.
|
Configuración de HBase
Método 1: Configuración en la GUI
- Inicie sesión en la consola de gestión de MRS. En el árbol de navegación de la izquierda, elija y haga clic en el nombre del clúster.
- Elija Components >HBase >Service Configuration.
- Cambie Basic a All y busque y establezca los siguientes parámetros:
Tabla 4 Parámetros de encriptación de datos Parámetro
Valor
Descripción
fs.obs.server-side-encryption-type
SSE-KMS
- SSE-KMS: las claves de KMS se utilizan para encriptación y descifrado
- NONE: La función de encriptación está deshabilitada.
fs.obs.server-side-encryption-key
-
ID de la clave de KMS utilizada para encriptación. Este parámetro es opcional.
Si fs.obs.server-side-encryption-type se establece en SSE-KMS y este parámetro no se establece, OBS utiliza la clave KMS predeterminada para la encriptación.
fs.obs.connection.ssl.enabled
true
Si desea establecer una conexión segura con OBS.
- true: La conexión segura está habilitada. Para utilizar la encriptación y el descifrado de OBS, este parámetro debe establecerse en true.
- false: La conexión segura está deshabilitada.
- Haga clic en Save Configuration y seleccione Restart the affected services or instances. Haga clic en OK.
- Inicie sesión en el nodo de Master como usuario root. La contraseña es la contraseña del usuario root que establece al crear el clúster. Si el clúster tiene varios nodos de Master, inicie sesión en cada nodo de Master y repita 5 a 7.
- Ejecute el siguiente comando para cambiar al directorio del cliente, por ejemplo /opt/Bigdata/client:
cd /opt/Bigdata/client
- Ejecute el siguiente comando para actualizar las configuraciones del cliente e introduzca el nombre de usuario y la contraseña. El nombre de usuario es admin y la contraseña es la contraseña del usuario admin que establece al crear el clúster.
./ autoRefreshConfig.sh
Método 2: Configuración a través del archivo de configuración del cliente
Agregue los siguientes parámetros al archivo de configuración del cliente, por ejemplo /opt/Bigdata/client/HBase/hbase/conf/core-site.xml en el nodo de Master. Si el clúster tiene varios nodos de Master, inicie sesión en cada nodo de Master y realice esta operación.
Parámetro |
Valor |
Descripción |
---|---|---|
fs.obs.server-side-encryption-type |
SSE-KMS |
|
fs.obs.server-side-encryption-key |
- |
ID de la clave de KMS utilizada para encriptación. Este parámetro es opcional. Si fs.obs.server-side-encryption-type se establece en SSE-KMS y este parámetro no se establece, OBS utiliza la clave KMS predeterminada para la encriptación. |
fs.obs.connection.ssl.enabled |
true |
Si desea establecer una conexión segura con OBS.
|
Configuración de Spark
Método 1: Configuración en la GUI
- Inicie sesión en la consola de gestión de MRS. En el árbol de navegación de la izquierda, elija y haga clic en el nombre del clúster.
- Elija Components >Spark >Service Configuration.
- Cambie Basic a All y busque y establezca los siguientes parámetros:
Tabla 6 Parámetros de encriptación de datos Parámetro
Valor
Descripción
fs.obs.server-side-encryption-type
SSE-KMS
- SSE-KMS: las claves de KMS se utilizan para encriptación y descifrado
- NONE: La función de encriptación está deshabilitada.
fs.obs.server-side-encryption-key
-
ID de la clave de KMS utilizada para encriptación. Este parámetro es opcional.
Si fs.obs.server-side-encryption-type se establece en SSE-KMS y este parámetro no se establece, OBS utiliza la clave KMS predeterminada para la encriptación.
fs.obs.connection.ssl.enabled
true
Si desea establecer una conexión segura con OBS.
- true: La conexión segura está habilitada. Para utilizar la encriptación y el descifrado de OBS, este parámetro debe establecerse en true.
- false: La conexión segura está deshabilitada.
- Haga clic en Save Configuration y seleccione Restart the affected services or instances. Haga clic en OK.
- Inicie sesión en el nodo de Master como usuario root. La contraseña es la contraseña del usuario root que establece al crear el clúster. Si el clúster tiene varios nodos de Master, inicie sesión en cada nodo de Master y repita 5 a 7.
- Ejecute el siguiente comando para cambiar al directorio del cliente, por ejemplo /opt/Bigdata/client:
cd /opt/Bigdata/client
- Ejecute el siguiente comando para actualizar las configuraciones del cliente e introduzca el nombre de usuario y la contraseña. El nombre de usuario es admin y la contraseña es la contraseña del usuario admin que establece al crear el clúster.
./autoRefreshConfig.sh
Método 2: Configuración a través del archivo de configuración del cliente
Agregue los siguientes parámetros al archivo de configuración del cliente, por ejemplo /opt/Bigdata/client/Spark/spark/conf/core-site.xml, en el nodo de Master. Si el clúster tiene varios nodos de Master, inicie sesión en cada nodo de Master y realice esta operación.
Parámetro |
Valor |
Descripción |
---|---|---|
fs.obs.server-side-encryption-type |
SSE-KMS |
|
fs.obs.server-side-encryption-key |
- |
ID de la clave de KMS utilizada para encriptación. Este parámetro es opcional. Si fs.obs.server-side-encryption-type se establece en SSE-KMS y este parámetro no se establece, OBS utiliza la clave KMS predeterminada para la encriptación. |
fs.obs.connection.ssl.enabled |
true |
Si desea establecer una conexión segura con OBS.
|
Configuración de Presto
- Inicie sesión en la consola de gestión de MRS. En el árbol de navegación de la izquierda, elija y haga clic en el nombre del clúster.
- Elija Components >Presto >Service Configuration.
- Cambie Basic a All y busque y establezca los siguientes parámetros:
Tabla 8 Parámetros de encriptación de datos Parámetro
Valor
Descripción
fs.obs.server-side-encryption-type
SSE-KMS
- SSE-KMS: las claves de KMS se utilizan para encriptación y descifrado
- NONE: La función de encriptación está deshabilitada.
fs.obs.server-side-encryption-key
-
ID de la clave de KMS utilizada para encriptación. Este parámetro es opcional.
Si fs.obs.server-side-encryption-type se establece en SSE-KMS y este parámetro no se establece, OBS utiliza la clave KMS predeterminada para la encriptación.
fs.obs.connection.ssl.enabled
true
Si desea establecer una conexión segura con OBS.
- true: La conexión segura está habilitada. Para utilizar la encriptación y el descifrado de OBS, este parámetro debe establecerse en true.
- false: La conexión segura está deshabilitada.
- Haga clic en Save Configuration y seleccione Restart the affected services or instances. Haga clic en OK.