ALM-19000 Servicio HBase no disponible

Descripción

El módulo de alarma comprueba el estado del servicio HBase cada 120 segundos. Esta alarma se genera cuando el servicio HBase no está disponible.

Esta alarma se borra cuando se recupera el servicio HBase.

Atributo

Parámetros

Impacto en el sistema

No se pueden realizar operaciones como la lectura/escritura de datos y la creación de tablas.

Causas posibles

• ZooKeeper es anormal.
• HDFS es anormal.
• HBase es anormal.
• La conexión de red es anormal.
• El valor de configuración del servicio es incorrecto.

Procedimiento

Verificar el estado del servicio de ZooKeeper.

1. En la lista de servicios en el FusionInsight Manager, compruebe si Running Status de ZooKeeper es Normal.
   • En caso afirmativo, vaya a 5.
   • Si no, vaya a 2.

2. En la lista de alarmas, compruebe si existe ALM-13000 Servicio ZooKeeper no disponible.
   • En caso afirmativo, vaya a 3.
   • Si no, vaya a 5.

3. Rectificar la falla mediante la realización de las operaciones previstas para ALM-13000 Servicio ZooKeeper no disponible.
4. Espere varios minutos y compruebe si la alarma está desactivada.
   • En caso afirmativo, no es necesario hacer nada más.
   • Si no, vaya a 5.

Comprobar el estado de servicio HDFS.

5. En la lista de alarmas, compruebe si existe ALM-14000 Servicio HDFS no disponible.
   • En caso afirmativo, vaya a 6.
   • Si no, vaya a 8.

6. Rectificar la falla mediante la realización de las operaciones previstas para ALM-14000 Servicio HDFS no disponible.
7. Espere varios minutos y compruebe si la alarma está desactivada.
   • En caso afirmativo, no es necesario hacer nada más.
   • Si no, vaya a 8.

8. En FusionInsight Manager, elija Cluster, haga clic en el nombre del clúster deseado, elija Services > HDFS y compruebe si Safe Mode de HDFS es ON.
   • En caso afirmativo, vaya a 9.
   • Si no, vaya a 12.

9. Inicie sesión en el cliente HDFS como usuario root. Ejecute el comando cd para ir al directorio de instalación del cliente y ejecute el comando source bigdata_env.

   Si el clúster utiliza el modo de seguridad, realice la autenticación de seguridad. Obtenga la contraseña del usuario hdfs del administrador del clúster MRS, ejecute el comando kinit hdfs e introduzca la contraseña como se le solicite.

10. Ejecute el siguiente comando para salir manualmente del modo seguro:

    hdfs dfsadmin -safemode leave

11. Espere varios minutos y compruebe si la alarma está desactivada.
    • En caso afirmativo, no es necesario hacer nada más.
    • Si no, vaya a 12.

Comprobar el estado de servicio de HBase.

12. En FusionInsight Manager, elija Cluster, haga clic en el nombre del clúster deseado y elija Services > HBase.
13. Compruebe si hay un HMaster activo y un HMaster en espera.
    • En caso afirmativo, vaya a 15.
    • Si no, vaya a 14.

14. Haga clic en Instances y seleccione la instancia de HMaster cuyo estado no sea Active. Haga clic en More y seleccione Restart Instance para reiniciar HMaster. A continuación, compruebe si hay un HMaster activo y un HMaster en espera.
    • En caso afirmativo, vaya a 15.
    • Si no, vaya a 21.

15. Elija Cluster, haga clic en el nombre del clúster deseado, elija Services > HBase y haga clic en HMaster(Active) para acceder a la interfaz de usuario web de HMaster.
    

    De forma predeterminada, el usuario admin no tiene los permisos para gestionar otros componentes. Si la página no se puede abrir o el contenido mostrado está incompleto al acceder a la interfaz de usuario nativa de un componente debido a la falta de permisos, puede crear manualmente un usuario con los permisos para gestionar ese componente.

16. Comprueba si existe al menos un RegionServer en Region Servers.
    • En caso afirmativo, vaya a 17.
    • Si no, vaya a 21.

17. Elija Tables > System Tables y compruebe si hbase:meta, hbase:namespace y hbase:acl existen en la columna Table Name como se muestra en Figura 1.
    • En caso afirmativo, vaya a 18.
    • Si no, vaya a 19.
      Figura 1 Tablas del sistema de HBase
      

18. Haga clic en hbase:meta, hbase:namespace y hbase:acl para comprobar si se pueden abrir todas las páginas. Si todos ellos se pueden abrir, las tablas son normales.
    • En caso afirmativo, vaya a 19.
    • Si no, vaya a 25.
      

      En un clúster normal, el control de permisos de ACL está deshabilitado para HBase de forma predeterminada. La tabla hbase:acl se genera solo después de que el control de permisos de ACL esté habilitado manualmente. En este caso, debe comprobar esta tabla.

19. Vea el estado de inicio de HMaster.

    En la página Tasks mostrada en Figura 2, el valor RUNNING de la columna State indica que HMaster se está iniciando y proporciona cuánto tiempo HMaster permanece en ese estado. Como se muestra en Figura 3, si el estado es COMPLETE, se ha iniciado HMaster.

    Compruebe si HMaster ha estado en el estado RUNNING durante mucho tiempo.

    Figura 2 HMaster que se está iniciando
    
    Figura 3 Inicio de HMaster completado
    
    • En caso afirmativo, vaya a 20.
    • Si no, vaya a 21.

20. En la interfaz de usuario web de HMaster, compruebe si algún hbase:meta está en el estado Regions in Transition durante mucho tiempo.
    Figura 4 Regiones en transición
    
    • En caso afirmativo, vaya a 21.
    • Si no, vaya a 22.

21. Después de asegurarse de que los servicios no se ven afectados, inicie sesión en el FusionInsight Manager, elija Cluster, haga clic en el nombre del clúster deseado, elija Services > HBase, haga clic en More y seleccione Restart Service. En el cuadro de diálogo que se muestra, escriba la contraseña y haga clic en OK.
    • En caso afirmativo, vaya a 22.
    • Si no, vaya a 25.

22. Espere varios minutos y compruebe si la alarma está desactivada.
    • En caso afirmativo, no es necesario hacer nada más.
    • Si no, vaya a 25.

Compruebe si las configuraciones de HBase están correctamente modificadas.

23. En FusionInsight Manager, seleccione Audit. En la página Audit, haga clic en Advanced Search, haga clic en a la derecha de Operation Type, seleccione Save configuration, haga clic en OK y haga clic en Search.
24. En el resultado de la búsqueda, compruebe si las configuraciones históricas de los servicios relacionados con HBase en la columna Service, como ZooKeeper, HDFS y HBase, pueden afectar al estado del servicio HBase. Tabla 1 enumera algunas configuraciones que pueden afectar al estado del servicio HBase.

    Tabla 1 Configuraciones que afectan al estado del servicio HBase

    Parámetro	Impacto posible
    GC_OPTS	La configuración de la memoria puede ser incorrecta. Debe comprobar el estado de salud de los procesos de instancia.
    hbase.rpc.protection	Si el servicio HBase no se reinicia sin conexión después de cambiar el valor de este parámetro, la autenticación de conexión falla y el servicio HBase se vuelve anormal.
    hbase.regionserver.metahandler.count	Si hay demasiadas regiones en el clúster pero este parámetro se establece en un valor pequeño, RIT puede ocurrir y las regiones no se pueden poner en línea durante mucho tiempo.
    hbase.regionserver.thread.compaction.large	Si este parámetro se establece en un valor grande, el uso de la CPU del nodo puede ser demasiado alto.
    hbase.regionserver.thread.compaction.small	Si este parámetro se establece en un valor grande, el uso de la CPU del nodo puede ser demasiado alto.
    hbase.coprocessor.master.classes	Si se utiliza un coprocesador personalizado en la configuración, un error lógico puede hacer que el servicio no esté disponible.
    hbase.coprocessor.region.classes	Si se utiliza un coprocesador personalizado en la configuración, un error lógico puede hacer que el servicio no esté disponible.
    hbase.coprocessor.regionserver.classes	Si se utiliza un coprocesador personalizado en la configuración, un error lógico puede hacer que el servicio no esté disponible.
    zookeeper.session.timeout	Si este parámetro se establece en un valor pequeño, la conexión entre HBase y ZooKeeper se agota demasiado rápido. Como resultado, la instancia HMaster y el RegionServer pueden reiniciarse repetidamente.

Compruebe la conexión de red entre HMaster y los componentes dependientes.

25. En FusionInsight Manager, elija Cluster, haga clic en el nombre del clúster deseado y elija Services > HBase.
26. Haga clic en Instances. En la lista de instancias de HMaster, registre la dirección IP de gestión de la instancia de HMaster activa.
27. Inicie sesión en el nodo HMaster activo como usuario omm a través de la dirección IP obtenida en 26.
28. Ejecute el comando ping para comprobar si la conexión de red entre el nodo HMaster activo y el host donde residen los componentes dependientes es normal. (Los componentes dependientes incluyen ZooKeeper, HDFS, y Yarn. El método para obtener la dirección IP del host donde residen los componentes dependientes es el mismo que el de obtener la dirección IP del nodo HMaster activo.)
    • En caso afirmativo, vaya a 31.
    • Si no, vaya a 29.

29. Póngase en contacto con el administrador de red para restaurar la red.
30. En la lista de alarmas, compruebe si esta alarma está borrada.
    • En caso afirmativo, no es necesario hacer nada más.
    • Si no, vaya a 31.

Recopilar información de fallas.

31. En FusionInsight Manager, seleccione O&M. En el panel de navegación de la izquierda, elija Log > Download.
32. Expanda la lista desplegable junto al campo Service. En el cuadro de diálogo Services que se muestra, seleccione los siguientes servicios para el clúster de destino:
    • ZooKeeper
    • HDFS
    • HBase

33. Haga clic en en la esquina superior derecha y establezca Start Date y End Date para la recopilación de registros en 10 minutos antes y después del tiempo de generación de alarmas, respectivamente. A continuación, haga clic en Download.
34. Póngase en contacto con y proporcione los registros recopilados.

Eliminación de alarmas

Esta alarma se borra automáticamente después de rectificar la falla.

Información relacionada

Ninguna