Copia de respaldo de datos de servicio de HDFS

Escenario

Para garantizar la seguridad de los datos de servicio HDFS de forma rutinaria o antes de una operación importante en HDFS (como la actualización o la migración), debe realizar una copia de respaldo de los datos de servicio HDFS. Los datos de copia de respaldo se pueden utilizar para recuperar el sistema si se produce una excepción o la operación no ha logrado el resultado esperado, minimizando los impactos adversos en los servicios.

Puede crear una tarea de copia de respaldo en FusionInsight Manager para realizar una copia de respaldo de los datos de servicio HDFS. Se admiten tareas de copia de respaldo tanto automáticas como manuales.

Los directorios cifrados no se pueden hacer copias de respaldo ni restaurar.

Prerrequisitos

• Si es necesario realizar una copia de respaldo de los datos en el HDFS remoto, ha preparado un clúster en espera para la copia de respaldo de los datos. El modo de autenticación del clúster en espera es el mismo que el del clúster activo. Para otros modos de copia de respaldo, no es necesario preparar el clúster en espera.
• Si el clúster activo se despliega en modo de seguridad y los clústeres activo y en espera no son gestionados por el mismo FusionInsight Manager, se ha configurado la confianza mutua. Para obtener más información, consulte Configuración de la confianza mutua Cross-Manager entre clústeres. Si el clúster activo se despliega en modo normal, no se requiere confianza mutua.
• Se ha configurado la replicación entre clústeres para los clústeres activos y en espera. Para obtener más información, consulte Habilitación de la replicación entre clústeres.

• El tiempo es consistente entre los clústeres activos y en espera y los servicios NTP en los clústeres activos y en espera utilizan la misma fuente de tiempo.

• Las políticas de copia de respaldo, incluido el tipo de tarea de copia de respaldo, el período, el objeto de copia de respaldo, el directorio de copia de respaldo y la cola de Yarn que requiere la tarea de copia de respaldo, se planifican según los requisitos de servicio.
• El HDFS del clúster en espera tiene suficiente espacio. Se recomienda guardar los archivos de copia de respaldo en un directorio personalizado.
• En el cliente HDFS, ha ejecutado el comando hdfs lsSnapshottableDir como usuario hdfs para comprobar la lista de directorios para los que se han creado instantáneas HDFS en el clúster actual y asegurarse de que el directorio o subdirectorio principal HDFS donde se almacenan los archivos de datos que se van a hacer una copia de respaldo no tiene instantáneas de HDFS. De lo contrario, no se puede crear la tarea de copia de respaldo.
• Si desea realizar una copia de respaldo de los datos en el NAS, ha desplegado el servidor NAS por adelantado.

Procedimiento

1. En FusionInsight Manager, seleccione O&M > Backup and Restoration > Backup Management.
2. Haga clic en Create.
3. Establezca Name en el nombre de la tarea de copia de respaldo.
4. Seleccione el clúster que se va a operar desde Backup Object.
5. Establezca Mode en el tipo de tarea de copia de respaldo.

   Periodic indica que la tarea de copia de respaldo es ejecutada por el sistema periódicamente. Manual indica que la tarea de copia de respaldo se ejecuta manualmente.

   Tabla 1 Parámetros de copia de respaldo periódico

   Parámetro	Descripción
   Started	Indica la hora a la que se inicia la tarea por primera vez.
   Period	Indica el intervalo de ejecución de la tarea. Las opciones incluyen Hours y Days.
   Backup Policy	Copia de respaldo completa la primera vez y copia de respaldo incremental posteriormente Copia de respaldo completa cada vez Copia de respaldo completa una vez cada n veces NOTA: No se admite la copia de respaldo incremental cuando se realizan copias de respaldo de los datos de Manager y los metadatos de los componentes. Solo se admite Copia de respaldo completa cada vez. Si Path Type se establece en NFS o CIFS, no se puede utilizar la copia de respaldo incremental. Cuando se utiliza la copia de respaldo incremental para la copia de respaldo de NFS o CIFS, los datos de copia de respaldo completa más recientes se actualizan cada vez que se realiza la copia de respaldo incremental. Por lo tanto, no se genera ningún nuevo punto de recuperación.

6. En Configuration, seleccione HDFS.
7. Establezca Path Type de HDFS en un tipo de directorio de copia de respaldo.

   Se admiten los siguientes tipos de directorio de copia de respaldo:

   • RemoteHDFS: indica que los archivos de copia de respaldo se almacenan en el directorio de HDFS del clúster en espera.
     Si selecciona esta opción, establezca los siguientes parámetros:

     • Destination NameService Name: indica el nombre de NameService del clúster en espera. Puede establecerlo en el nombre de NameService (haclusterX, haclusterX1, haclusterX2, haclusterX3, o haclusterX4) del clúster remoto integrado del clúster, o el nombre de NameService de un clúster remoto configurado.

     • IP Mode: indica el modo de la dirección IP de destino. El sistema selecciona automáticamente el modo de dirección IP en función del tipo de red del clúster, por ejemplo IPv4 o IPv6.
     • Target NameNode IP Address: indica la dirección IP del plano de servicio NameNode en el clúster en espera. Puede ser de un nodo activo o en espera.
     • Target Path: indica el directorio HDFS para almacenar los datos de copia de respaldo del clúster en espera. La ruta de almacenamiento no puede ser un directorio oculto de HDFS, como un directorio de instantáneas o papelera de reciclaje, o un directorio de sistema predeterminado, como /hbase o /user/hbase/backup.
     • Maximum Number of Backup Copies: indica el número de conjuntos de archivos de copia de respaldo que se pueden retener en el directorio de copia de respaldo.
     • Queue Name: indica el nombre de la cola de Yarn utilizada para la ejecución de tareas de copia de respaldo. El nombre debe ser el mismo que el nombre de la cola que se está ejecutando correctamente en el clúster.
     • Maximum Number of Maps: indica el número máximo de map en una tarea de MapReduce. El valor predeterminado es 20.
     • Maximum Bandwidth of a Map (MB/s): indica el ancho de banda máximo de un map. El valor predeterminado es 100.
     • NameService Name: indica el nombre NameService del directorio de copia de respaldo. El valor predeterminado es hacluster.
   • NFS: indica que los archivos de copia de respaldo se almacenan en el NAS mediante el protocolo NFS.
     Si selecciona esta opción, establezca los siguientes parámetros:

     • IP Mode: indica el modo de la dirección IP de destino. El sistema selecciona automáticamente el modo de dirección IP en función del tipo de red del clúster, por ejemplo IPv4 o IPv6.

     • Server IP Address: indica la dirección IP del servidor NAS.
     • Maximum Number of Backup Copies: indica el número de conjuntos de archivos de copia de respaldo que se pueden retener en el directorio de copia de respaldo.
     • Server Shared Path: indica el directorio compartido configurado del servidor NAS. (La ruta de acceso compartida del servidor no se puede establecer en el directorio raíz, y el grupo de usuarios y el grupo de propietarios de la ruta de acceso compartida deben ser nobody:nobody.)
     • Queue Name: indica el nombre de la cola de Yarn utilizada para la ejecución de tareas de copia de respaldo. El nombre debe ser el mismo que el nombre de la cola que se está ejecutando correctamente en el clúster.
     • Maximum Number of Maps: indica el número máximo de map en una tarea de MapReduce. El valor predeterminado es 20.
     • Maximum Bandwidth of a Map (MB/s): indica el ancho de banda máximo de un map. El valor predeterminado es 100.
     • NameService Name: indica el nombre NameService del directorio de copia de respaldo. El valor predeterminado es hacluster.
   • CIFS: indica que los archivos de copia de respaldo se almacenan en el NAS mediante el protocolo CIFS. Si selecciona esta opción, establezca los siguientes parámetros:
     • IP Mode: indica el modo de la dirección IP de destino. El sistema selecciona automáticamente el modo de dirección IP en función del tipo de red del clúster, por ejemplo IPv4 o IPv6.
     • Server IP Address: indica la dirección IP del servidor NAS.
     • Port: indica el número de puerto utilizado para conectarse al servidor NAS a través del protocolo CIFS. El valor predeterminado es 445.
     • Username: indica el nombre de usuario establecido cuando se configura el protocolo CIFS.
     • Password: indica la contraseña establecida cuando se configura el protocolo CIFS.
     • Maximum Number of Backup Copies: indica el número de conjuntos de archivos de copia de respaldo que se pueden retener en el directorio de copia de respaldo.
     • Server Shared Path: indica el directorio compartido configurado del servidor NAS. (La ruta de acceso compartida del servidor no se puede establecer en el directorio raíz, y el grupo de usuarios y el grupo de propietarios de la ruta de acceso compartida deben ser nobody:nobody.)
     • Queue Name: indica el nombre de la cola de Yarn utilizada para la ejecución de tareas de copia de respaldo. El nombre debe ser el mismo que el nombre de la cola que se está ejecutando correctamente en el clúster.
     • Maximum Number of Maps: indica el número máximo de map en una tarea de MapReduce. El valor predeterminado es 20.
     • Maximum Bandwidth of a Map (MB/s): indica el ancho de banda máximo de un map. El valor predeterminado es 100.
     • NameService Name: indica el nombre NameService del directorio de copia de respaldo. El valor predeterminado es hacluster.
   • SFTP: indica que los archivos de copia de respaldo se almacenan en el servidor mediante el protocolo SFTP.
     Si selecciona esta opción, establezca los siguientes parámetros:

     • IP Mode: indica el modo de la dirección IP de destino. El sistema selecciona automáticamente el modo de dirección IP en función del tipo de red del clúster, por ejemplo IPv4 o IPv6.

     • Server IP Address: indica la dirección IP del servidor donde se almacenan los datos de copia de respaldo.
     • Port: indica el número de puerto utilizado para conectarse al servidor de copia de respaldo a través del protocolo SFTP. El valor predeterminado es 22.
     • Username: indica el nombre de usuario para conectarse al servidor mediante el protocolo SFTP.
     • Password: indica la contraseña para conectarse al servidor mediante el protocolo SFTP.
     • Server Shared Path: indica la ruta de copia de respaldo en el servidor SFTP.
     • Maximum Number of Backup Copies: indica el número de conjuntos de archivos de copia de respaldo que se pueden retener en el directorio de copia de respaldo.
     • Queue Name: indica el nombre de la cola de Yarn utilizada para la ejecución de tareas de copia de respaldo. El nombre debe ser el mismo que el nombre de la cola que se está ejecutando correctamente en el clúster.
     • Maximum Number of Maps: indica el número máximo de map en una tarea de MapReduce. El valor predeterminado es 20.
     • Maximum Bandwidth of a Map (MB/s): indica el ancho de banda máximo de un map. El valor predeterminado es 100.
     • NameService Name: indica el nombre NameService del directorio de copia de respaldo. El valor predeterminado es hacluster.

8. Establezca Maximum Number of Recovery Points en el número de instantáneas que se pueden retener en el clúster.
9. Establezca Backup Content en uno o varios directorios HDFS para realizar copias de respaldo según los requisitos de servicio.

   Puede seleccionar los datos de copia de respaldo utilizando cualquiera de los siguientes métodos:

   • Adición de un archivo de datos de copia de respaldo

     Haga clic en el nombre de una base de datos en el árbol de navegación para mostrar todas las tablas de la base de datos y seleccione las tablas especificadas.

   • Selección del uso de expresiones regulares
     1. Haga clic en Query Regular Expression.
     2. Introduzca la ruta completa del directorio principal del directorio en el primer cuadro de texto según se le solicite. El directorio debe ser el mismo que el directorio existente, por ejemplo, /tmp.
     3. Escriba una expresión regular en el segundo cuadro de texto. Se admiten expresiones regulares estándares. Por ejemplo, para obtener todos los archivos o subdirectorios en el directorio principal, escriba ([\s\S]*?). Para obtener archivos cuyos nombres consisten en letras y dígitos, por ejemplo, file1, escriba file\d*.
     4. Haga clic en Refresh para ver los directorios mostrados en Directory Name.
     5. Haga clic en Synchronize para guardar el resultado.
     

     • Cuando escriba expresiones regulares, haga clic en o para agregar o eliminar una expresión.
     • Si la tabla o el directorio seleccionado no es correcto, haga clic en Clear Selected Node para anular la selección.
     • El directorio de copia de respaldo no puede contener archivos que se hayan escrito durante mucho tiempo. De lo contrario, la tarea de copia de respaldo fallará. Por lo tanto, no se recomienda realizar operaciones en el directorio de nivel superior, como /user, /tmp y /mr-history.

10. Haga clic en Verify para comprobar si la tarea de copia de respaldo está configurada correctamente.

    Las posibles causas de la falla de verificación son las siguientes:

    • La dirección IP del NameNode de destino es incorrecta.
    • El nombre de la cola es incorrecto.
    • El directorio primario o subdirectorio del directorio HDFS donde se almacenan los archivos de datos que se van a realizar una copia de respaldo tiene instantáneas HDFS.
    • El directorio o la tabla que se va a hacer una copia de respaldo no existe.
    • El nombre del NameService es incorrecto.

11. Haga clic en OK.
12. En la columna Operation de la tarea creada en la lista de tareas de copia de respaldo, haga clic en More y seleccione Back Up Now para ejecutar la tarea de copia de respaldo.

    Después de ejecutar la tarea de copia de respaldo, el sistema crea automáticamente un subdirectorio para cada tarea de copia de respaldo en el directorio de copia de respaldo. El formato del nombre del subdirectorio es Backup task name_Data source_Task creation time y el subdirectorio se utiliza para guardar los últimos archivos de copia de respaldo de origen de datos. Todos los conjuntos de archivos de copia de respaldo se almacenan en los directorios de instantáneas relacionados.