Restauración de metadatos de Kafka

Escenario

Los datos de Kafka deben recuperarse en los siguientes escenarios: los datos se modifican o eliminan inesperadamente y deben restaurarse. Una vez que un administrador realiza un ajuste de datos críticos de ZooKeeper se produce una excepción o la operación no ha logrado el resultado esperado. Todos los módulos de Kafka están defectuosos y no están disponibles. Los datos se migran a un nuevo clúster.

Los administradores del sistema pueden crear una tarea de recuperación en FusionInsight Manager para recuperar datos de Kafka. Sólo se admiten las tareas de restauración manuales.

• La restauración de datos solo se puede realizar cuando la versión del sistema es coherente con la de la copia de respaldo de datos.
• Para restaurar los metadatos de Kafka cuando el servicio se está ejecutando correctamente, se recomienda realizar una copia de respaldo manual de los metadatos de Kafka más recientes antes de la restauración. De lo contrario, los metadatos de Kafka que se generan después de la copia de respaldo de datos y antes de la restauración de datos se perderán.

Impacto en el sistema

• Después de restaurar los metadatos, se pierden los datos generados después de la copia de respaldo de datos y antes de la restauración de datos.
• Después de restaurar los metadatos, la información de desplazamiento almacenada en el ZooKeeper por los consumidores de Kafka se revierte, lo que resulta en un consumo repetido.

Prerrequisitos

• Si necesita restaurar datos desde un HDFS remoto, prepare un clúster en espera. Si el clúster activo se despliega en modo de seguridad y los clústeres activo y en espera no son gestionados por el mismo FusionInsight Manager, se ha configurado la confianza mutua. Para obtener más información, consulte Configuración de la confianza mutua Cross-Manager entre clústeres. Si el clúster activo se despliega en modo normal, no se requiere confianza mutua.

• Se ha configurado la replicación entre clústeres para los clústeres activo y en espera. Para obtener más información, consulte Habilitación de la replicación entre clústeres.
• El tiempo es consistente entre los clústeres activos y en espera y los servicios NTP en los clústeres activos y en espera utilizan la misma fuente de tiempo.
• El servicio Kafka se deshabilita primero y, a continuación, se habilita al restaurar los datos.

Procedimiento

1. En FusionInsight Manager, seleccione O&M > Backup and Restoration > Backup Management.
2. En la columna Operation de una tarea especificada en la lista de tareas, elija More > View History para ver los registros históricos de ejecución de tareas de copia de respaldo.

   En la ventana que se muestra, busque un registro de éxito especificado y haga clic en View en la columna Backup Path para ver la información de la ruta de copia de respaldo de la tarea y buscar la siguiente información:

   • Backup Object especifica el origen de datos de los datos de copia de respaldo.
   • Backup Path especifica la ruta completa donde se guardan los archivos de copia de respaldo.

     Seleccione el elemento correcto y copie manualmente la ruta completa de los archivos de copia de respaldo de Backup Path.

3. En FusionInsight Manager, seleccione O&M > Backup and Restoration > Restoration Management.
4. Haga clic en Create.
5. Establezca Task Name en el nombre de la tarea de restauración.
6. Seleccione el clúster que se va a operar desde Recovery Object.
7. En el área Restoration Configuration, seleccione Kafka.
8. Establezca Path Type de Kafka en un tipo de directorio de copia de respaldo.

   La configuración varía según los tipos de directorios de copia de respaldo:

   • LocalDir: indica que los archivos de copia de respaldo se almacenan en el disco local del nodo de gestión activa.

     Si selecciona LocalDir, también debe configurar Source Path para que seleccione el archivo de copia de respaldo que se va a restaurar, por ejemplo, Version_Data source_Task execution time.tar.gz.

   • LocalHDFS: indica que los archivos de copia de respaldo se almacenan en el directorio de HDFS del clúster actual.
     Si selecciona LocalHDFS, establezca los siguientes parámetros:

     • Source Path: indica la ruta completa del archivo de copia de respaldo en el HDFS, por ejemplo, Backup path/Backup task name_Task creation time/Version_Data source_Task execution time.tar.gz.
     • Source NameService Name: indica el nombre NameService que corresponde al directorio de copia de respaldo cuando se ejecuta una tarea de restauración. El valor predeterminado es hacluster.
   • RemoteHDFS: indica que los archivos de copia de respaldo se almacenan en el directorio de HDFS del clúster en espera.
     Si selecciona RemoteHDFS, establezca los siguientes parámetros:

     • Source NameService Name: indica el nombre de NameService del clúster de datos de copia de respaldo. Puede introducir el nombre integrado de NameService del clúster remoto, por ejemplo, haclusterX, haclusterX1, haclusterX2, haclusterX3 o haclusterX4. También puede introducir un nombre NameService configurado del clúster remoto.
     • IP Mode: indica el modo de la dirección IP de destino. El sistema selecciona automáticamente el modo de dirección IP en función del tipo de red del clúster, por ejemplo IPv4 o IPv6.
     • Source NameNode IP Address: indica la dirección IP del plano de servicio NameNode del clúster en espera, que admite el nodo activo o el nodo en espera.
     • Source Path: indica la ruta completa del directorio HDFS para almacenar los datos de copia de respaldo del clúster en espera, por ejemplo, Backup path/Backup task name_Data source_Task creation time/Version_Data source_Task execution time.tar.gz.
     • Queue Name: indica el nombre de la cola de Yarn utilizada para la ejecución de tareas de copia de respaldo. El nombre debe ser el mismo que el nombre de la cola que se está ejecutando correctamente en el clúster.
   • NFS: indica que los archivos de copia de respaldo se almacenan en el NAS mediante el protocolo NFS.
     Si selecciona NFS, establezca los siguientes parámetros:

     • IP Mode: indica el modo de la dirección IP de destino. El sistema selecciona automáticamente el modo de dirección IP en función del tipo de red del clúster, por ejemplo IPv4 o IPv6.

     • Server IP Address: indica la dirección IP del servidor NAS.
     • Source Path: indica la ruta completa del archivo de copia de respaldo en el servidor NAS, por ejemplo, Backup path/Backup task name_Data source_Task creation time/Version_Data source_Task execution time.tar.gz.
   • CIFS: indica que los archivos de copia de respaldo se almacenan en el NAS mediante el protocolo CIFS.
     Si selecciona CIFS, establezca los siguientes parámetros:

     • IP Mode: indica el modo de la dirección IP de destino. El sistema selecciona automáticamente el modo de dirección IP en función del tipo de red del clúster, por ejemplo IPv4 o IPv6.

     • Server IP Address: indica la dirección IP del servidor NAS.
     • Port: indica el número de puerto utilizado para conectarse al servidor NAS a través del protocolo CIFS. El valor predeterminado es 445.
     • Username: indica el nombre de usuario establecido cuando se configura el protocolo CIFS.
     • Password: indica la contraseña establecida cuando se configura el protocolo CIFS.
     • Source Path: indica la ruta completa del archivo de copia de respaldo en el servidor NAS, por ejemplo, Backup path/Backup task name_Data source_Task creation time/Version_Data source_Task execution time.tar.gz.
   • OBS: indica que los archivos de copia de respaldo se almacenan en OBS.

     Si selecciona OBS, establezca los siguientes parámetros:

     • Source Path: indica la ruta de acceso OBS completa de un archivo de copia de respaldo, por ejemplo, Backup path/Backup task name_Data source_Task creation time/Version_Data source_Task execution time.tar.gz.
       

       Solo MRS 3.1.0 o posterior admite el almacenamiento de archivos de copia de respaldo en OBS.

9. Haga clic en OK.
10. En la lista de tareas de restauración, busque una tarea creada y haga clic en Start en la columna Operation para ejecutar la tarea de restauración.
    • Después de que la restauración es exitosa, la barra de progreso está en verde.
    • Una vez que la restauración se realiza correctamente, la tarea de restauración no se puede ejecutar de nuevo.
    • Si la tarea de restauración falla durante la primera ejecución, rectifique el error y haga clic en Retry para volver a ejecutar la tarea.
      

      • Si el servicio Kafka se elimina una vez completada la copia de respaldo, reinstale el servicio Kafka, restaure sus metadatos y reinicie el servicio Kafka. Se encuentra que el servicio Broker no se puede iniciar. En este caso, el archivo /var/log/Bigdata/kafka/broker/server.log contiene un error. Un ejemplo de error es el siguiente:

        ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentClusterIdException: The Cluster ID kVSgfurUQFGGpHMTBqBPiw doesn't match stored clusterId Some(0Qftv9yBTAmf2iDPSlIk7g) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong. at kafka.server.KafkaServer.startup(KafkaServer.scala:220) at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44) at kafka.Kafka$.main(Kafka.scala:84) at kafka.Kafka.main(Kafka.scala)

        Compruebe el valor de log.dirs en el archivo de configuración de Kafka Broker ${BIGDATA_HOME}/Fusionsight_Current/*Broker/etc/server.properties. El valor es el directorio de datos de Kafka. Vaya al directorio de datos de Kafka y cambie el valor 0Qftv9yBTAmf2iDPSlIk7g de cluster.id en meta.properties a kVSgfurUQFGGpHMTBqBPiw (el último valor en el registro de errores).

      • La modificación anterior debe realizarse en cada nodo donde se encuentra Broker. Después de la modificación, reinicie el servicio Kafka.