ALM-14022 El tiempo medio de cola de RPC de NameNode supera el umbral

Descripción

El sistema comprueba el tiempo promedio de cola de RPC de NameNode cada 30 segundos y compara el tiempo promedio real de cola de RPC con el umbral (valor predeterminado: 200 ms). Esta alarma se genera cuando el sistema detecta que el tiempo medio de cola de RPC excede el umbral durante varias veces consecutivas (10 veces por defecto).

Puede elegir O&M > Alarm > Thresholds > Name of the desired cluster > HDFS para cambiar el umbral.

Cuando el Trigger Count es 1, esta alarma se borra cuando el tiempo medio de cola de RPC de NameNode es menor o igual que el umbral. Cuando el Trigger Count es mayor que 1, esta alarma se borra cuando el tiempo medio de cola de RPC de NameNode es menor o igual al 90% del umbral.

Atributo

Parámetros

Impacto en el sistema

NameNode no puede procesar las solicitudes RPC de clientes HDFS, servicios de capa superior que dependen de HDFS y DataNode de manera oportuna. Específicamente, los servicios que acceden a HDFS se ejecutan lentamente o el servicio HDFS no está disponible.

Causas posibles

• El rendimiento de la CPU de los nodos NameNode es insuficiente y, por lo tanto, los nodos NameNode no pueden procesar mensajes de manera oportuna.
• La memoria NameNode configurada es demasiado pequeña y se produce la congelación de fotogramas en la JVM debido a la recolección de basura completa frecuente.
• Los parámetros de NameNode no están configurados correctamente, por lo que NameNode no puede aprovechar al máximo el rendimiento del sistema.
• El volumen de servicios que acceden a HDFS es demasiado grande y, por lo tanto, NameNode está sobrecargado.

Procedimiento

Obtener información de alarma.

1. En el portal del FusionInsight Managert, seleccione O&M > Alarm > Alarms. En la lista de alarmas, haga clic en la alarma.
2. Comprueba la alarma. Obtenga el tiempo de generación de alarmas de Generated. Obtenga el nombre de host del nodo NameNode involucrado en esta alarma a partir de la información HostName de Location. A continuación, obtenga el nombre del nodo NameService involucrado en esta alarma a partir de la información NameServiceName de Location.

Comprobar si el umbral es demasiado pequeño.

3. Compruebe el estado de los servicios que dependen de HDFS. Compruebe si los servicios se ejecutan lentamente o si se agota el tiempo de ejecución de la tarea.
   • En caso afirmativo, vaya a 8.
   • Si no, vaya a 4.

4. En el portal del FusionInsight Manager, elija Cluster > Name of the desired cluster > Services > HDFS. Haga clic en el menú desplegable en la esquina superior derecha del Chart, elija Customize > RPC y seleccione Average Time of Active NameNode RPC Queuing y haga clic en OK.
   Figura 1 Tiempo promedio de la cola RPC de NameNode activa
   

5. En la página de monitorización Average Time of Active NameNode RPC Queuing , obtenga el valor del nodo NameService involucrado en esta alarma.
6. En el portal del FusionInsight Manager, seleccione O&M > Alarm > Thresholds > Name of the desired cluster > HDFS. Busque Average Time of Active NameNode RPC Queuing y haga clic en el Modify en la columna Operation de la regla predeterminada. Se muestra la página Modify Rule. Cambie el Threshold al 150% del valor monitorizado. Haga clic en OK para guardar el nuevo umbral.
7. Espere 1 minuto y compruebe si la alarma se borra automáticamente.
   • De ser así, no se requiere ninguna acción adicional.
   • Si no, vaya a 8.

   Comprobar si el rendimiento de la CPU del nodo NameNode es suficiente.

8. En el portal del FusionInsight Manager, haga clic en O&M > Alarm > Alarms y compruebe si se ha generado el ALM-12016 HDFS NameNode Memory Usage Exceeds the Threshold.
   • En caso afirmativo, vaya a 9.
   • Si no, vaya a 11.

9. Manejar el ALM-12016 El uso de la CPU supera el umbral tomando las medidas recomendadas.
10. Espere 10 minutos y compruebe si la alarma 14022 se borra automáticamente.
    • De ser así, no se requiere ninguna acción adicional.
    • Si no, vaya a 11.

Comprobar si la memoria del nodo NameNode es demasiado pequeña.

11. En el portal del FusionInsight Manager, haga clic en O&M > Alarm > Alarms y compruebe si se ha generado el ALM-14007 El uso de memoria de NameNode de HDFS supera el umbral.
    • En caso afirmativo, vaya a 12.
    • Si no, vaya a 14.

12. Maneje ALM-14007 El uso de la CPU supera el umbral tomando las acciones recomendadas.
13. Espere 10 minutos y compruebe si la alarma 14022 se borra automáticamente.
    • De ser así, no se requiere ninguna acción adicional.
    • Si no, vaya a 14.

Comprobar si los parámetros de NameNode están configurados correctamente.

14. En el portal del FusionInsight Manager, elija Cluster > Name of the desired cluster > Services > HDFS > Configurations > All Configurations. Busque el parámetro dfs.namenode.handler.count y vea su valor. Si el valor es menor o igual a 128, cámbielo a 128. Si el valor es mayor que 128 pero menor que 192, cámbielo a 192.
15. Busque el parámetro ipc.server.read.threadpool.size y vea su valor. Si el valor es menor que 5, cámbielo a 5.
16. Haga clic en Save y, a continuación, haga clic en OK.
17. En la página Instance de HDFS, seleccione el NameNode en espera de NameService involucrado en esta alarma y elija More > Restart Instance. Ingrese la contraseña y haga clic en OK. Espere hasta que se inicie el NameNode en espera.
18. En la página Instance de HDFS, seleccione el NameNode activo de NameService involucrado en esta alarma y elija More > Restart Instance. Ingrese la contraseña y haga clic en OK. Espere hasta que se inicie el NameNode activo.
19. Espere 1 hora y luego compruebe si la alarma se borra automáticamente.
    • De ser así, no se requiere ninguna acción adicional.
    • Si no, vaya a 20.

Comprobar si la carga de trabajo de HDFS cambia y reducir la carga de trabajo correctamente.

20. En el portal del FusionInsight Manager, elija Cluster > Name of the desired cluster > Services > HDFS. Haga clic en el menú desplegable en la esquina superior derecha de Chart, haga clic en Customize, seleccione Average Time of Active NameNode RPC Queuing y haga clic en OK.
    Figura 2 Tiempo promedio de la cola RPC de NameNode activa
    

21. Haga clic en . Se muestra la página Details.
22. Establezca el período de visualización de datos de monitoreo, desde 5 días antes del tiempo de generación de alarma hasta el tiempo de generación de alarma. Haga clic en OK.
23. En la página de supervisión Average RPC Queuing Time, compruebe si existe el punto en el tiempo en que el tiempo de espera aumenta bruscamente.
    • En caso afirmativo, vaya a 24.
    • Si no, vaya a 27.

24. Confirme y compruebe el punto en el tiempo. Compruebe si una nueva tarea accede con frecuencia a HDFS y si se puede reducir la frecuencia de acceso.
25. Si una tarea de Balancer comienza en ese momento, detenga la tarea o especifique un nodo para que la tarea reduzca la carga de trabajo de HDFS.
26. Espere 1 hora y luego compruebe si la alarma se borra automáticamente.
    • De ser así, no se requiere ninguna acción adicional.
    • Si no, vaya a 27.

Recopilar información de fallas.

27. En el portal del FusionInsight Manager, elija O&M > Log > Download.
28. Seleccione HDFS en el clúster requerido en el Service.
29. Haga clic en en la esquina superior derecha y establezca Start Date y End Date para la recopilación de registros en 10 minutos antes y después del tiempo de generación de alarmas, respectivamente. A continuación, haga clic en Download.
30. Póngase en contacto con el y envíe los registros recopilados.

Eliminación de alarmas

Después de rectificar la falla, el sistema borra automáticamente esta alarma.

Información relacionada

Ninguna