ALM-14009 Número de Dead DataNodes supera el umbral

Descripción

El sistema detecta periódicamente el número de DataNodes muertos en el clúster HDFS cada 30 segundos y compara el número con el umbral. El número de DataNodes en el estado Dead tiene un umbral predeterminado. Esta alarma se genera cuando el número excede el umbral.

Puede cambiar el umbral en O&M > Alarm > Thresholds > Name of the desired cluster > HDFS.

Cuando el Trigger Count es 1, esta alarma se borra cuando el número de DataNodes muertos es menor o igual que el umbral. Cuando el Trigger Count es mayor que 1, esta alarma se borra cuando el número de DataNodes muertos es menor o igual al 90% del umbral.

Atributo

Parámetros

Impacto en el sistema

Los DataNodes que están en estado Dead no pueden proporcionar servicios HDFS.

Causas posibles

• DataNodes están defectuosos o sobrecargados.
• La red entre el NameNode y el DataNode está desconectada u ocupada.
• Los NameNodes están sobrecargados.
• Los NameNodes no se reinician después de eliminar el DataNode.

Procedimiento

Comprobar si los DataNodes están defectuosos.

1. En el portal del FusionInsight Manager, elija Cluster > Name of the desired cluster > Services > HDFS. Se muestra la página HDFS Status.
2. En el área Basic Information, haga clic en NameNode(Active) para ir a HDFS WebUI.
   

   De forma predeterminada, el usuario admin no tiene los permisos para gestionar otros componentes. Si la página no se puede abrir o el contenido mostrado está incompleto al acceder a la interfaz de usuario nativa de un componente debido a la falta de permisos, puede crear manualmente un usuario con los permisos para gestionar ese componente.

3. En HDFS WebUI, haga clic en la pestaña Datanodes. En el área In operation, haga clic en Filter para comprobar si down está en la lista desplegable.
   • En caso afirmativo, seleccione down, registre la información sobre el DataNodes filtrado y vaya a 4.
   • Si no, vaya a 8.

4. En el portal del FusionInsight Manager, seleccione Cluster > Name of the desired cluster > Services > HDFS > Instance para comprobar si las DataNodes registradas existen en la lista de instancias.
   • Si existen todas las DataNodes grabadas, vaya a 5.
   • Si no existe ninguna de las DataNodes grabadas, vaya a 6.
   • Si existen algunos de los DataNodes grabados, vaya a 7.

5. Localice la instancia DataNode, haga clic en More > Restart Instance para reiniciarla y compruebe si la alarma está borrada.
   • De ser así, no se requiere ninguna acción adicional.
   • Si no, vaya a 8.

6. Seleccione todas las instancias de NameNode, elija More > Instance Rolling Restart para reiniciarlas y compruebe si la alarma está desactivada.
   • De ser así, no se requiere ninguna acción adicional.
   • Si no, vaya a 16.

7. Seleccione todas las instancias de NameNode y elija More > Instance Rolling Restart para reiniciarlas. Localice la instancia DataNode, haga clic en More > Restart Instance para reiniciarla y compruebe si la alarma está borrada.
   • De ser así, no se requiere ninguna acción adicional.
   • Si no, vaya a 8.

Comprobar el estado de la red entre NameNode y DataNode.

8. Inicie sesión en el DataNode defectuoso en la página de gestión como usuario root, y ejecute el comando ping IP address of the NameNode para comprobar si la red entre el DataNode y el NameNode es anormal.

   En la página FusionInsight Manager, elija Cluster > Name of the desired cluster > Services > HDFS > Instance. En la lista de instancias, vea la dirección IP del plano de servicio del DataNode defectuoso.

   • En caso afirmativo, vaya a 9.
   • Si no, vaya a 10.

9. Rectifique la falla de red y compruebe si la alarma está borrada.
   • De ser así, no se requiere ninguna acción adicional.
   • Si no, vaya a 10.

Comprobar si el DataNode está sobrecargado.

10. En el portal del FusionInsight Manager, seleccione O&M > Alarm > Alarms y compruebe si existe la alarma ALM-14008 El uso de memoria de HDFS DataNode supera el umbral.
    • En caso afirmativo, vaya a 11.
    • Si no, vaya a 13.

11. Vea ALM-14008 El uso de memoria de HDFS DataNode supera el umbral para manejar la alarma y comprobar si la alarma está desactivada.
    • En caso afirmativo, vaya a 12.
    • Si no, vaya a 13.

12. Compruebe si la alarma está borrada de la lista de alarmas.
    • De ser así, no se requiere ninguna acción adicional.
    • Si no, vaya a 13.

Comprobar si NameNode está sobrecargado.

13. En el portal del FusionInsight Manager, seleccione O&M > Alarm > Alarms y compruebe si existe la alarma ALM-14007 El uso de memoria de NameNode de HDFS supera el umbral.
    • En caso afirmativo, vaya a 14.
    • Si no, vaya a 16.

14. Vea ALM-14007 El uso de memoria de NameNode de HDFS supera el umbral para manejar la alarma y comprobar si la alarma está desactivada.
    • En caso afirmativo, vaya a 15.
    • Si no, vaya a 16.

15. Compruebe si la alarma está borrada de la lista de alarmas.
    • De ser así, no se requiere ninguna acción adicional.
    • Si no, vaya a 16.

Recopilar información de fallas.

16. En el portal del FusionInsight Manager, elija O&M > Log > Download.
17. Seleccione HDFS en el clúster requerido en el Service.
18. Haga clic en en la esquina superior derecha y establezca Start Date y End Date para la recopilación de registros en 10 minutos antes y después del tiempo de generación de alarmas, respectivamente. A continuación, haga clic en Download.
19. Póngase en contacto con el y envíe los registros recopilados.

Eliminación de alarmas

Después de rectificar la falla, el sistema borra automáticamente esta alarma.

Información relacionada

Ninguna