ALM-14021 El tiempo promedio de procesamiento de RPC de NameNode supera el umbral

Descripción

El sistema comprueba el tiempo promedio de procesamiento RPC de NameNode cada 30 segundos, y compara el tiempo promedio real de procesamiento RPC con el umbral (valor predeterminado: 100 ms). Esta alarma se genera cuando el sistema detecta que el tiempo promedio de procesamiento de RPC excede el umbral durante varias veces consecutivas (10 veces por defecto).

Puede elegir O&M > Alarm > Thresholds > Name of the desired cluster > HDFS para cambiar el umbral.

Cuando el Trigger Count es 1, esta alarma se borra cuando el tiempo promedio de procesamiento de RPC de NameNode es menor o igual que el umbral. Cuando el Trigger Count es mayor que 1, esta alarma se borra cuando el tiempo promedio de procesamiento de RPC de NameNode es menor que o igual al 90% del umbral.

Atributo

Parámetros

Impacto en el sistema

NameNode no puede procesar las solicitudes RPC de clientes HDFS, servicios de capa superior que dependen de HDFS y DataNode de manera oportuna. Específicamente, los servicios que acceden a HDFS se ejecutan lentamente o el servicio HDFS no está disponible.

Causas posibles

• El rendimiento de la CPU de los nodos NameNode es insuficiente y, por lo tanto, los nodos NameNode no pueden procesar mensajes de manera oportuna.
• La memoria NameNode configurada es demasiado pequeña y se produce la congelación de fotogramas en la JVM debido a la recolección de basura completa frecuente.

• Los parámetros de NameNode no están configurados correctamente, por lo que NameNode no puede aprovechar al máximo el rendimiento del sistema.

Procedimiento

Obtener información de alarma.

1. En el portal del FusionInsight Manager, seleccione O&M > Alarm > Alarms. En la lista de alarmas, haga clic en la alarma.
2. Comprueba la alarma. Obtenga el nombre de host del nodo NameNode involucrado en esta alarma a partir de la información HostName de Location. A continuación, obtenga el nombre del nodo NameService involucrado en esta alarma a partir de la información NameServiceName de Location.

Comprobar si el umbral es demasiado pequeño.

3. Compruebe el estado de los servicios que dependen de HDFS. Compruebe si los servicios se ejecutan lentamente o si se agota el tiempo de ejecución de la tarea.
   • En caso afirmativo, vaya a 8.
   • Si no, vaya a 4.

4. En el portal del FusionInsight Manager, elija Cluster > Name of the desired cluster > Services > HDFS. Haga clic en el menú desplegable en la esquina superior derecha del Chart, elija Customize > RPC, y seleccione Average Time of Active NameNode RPC Processing y haga clic en OK.
   Figura 1 Tiempo promedio de procesamiento de RPC de NameNode activo
   

5. En la página de monitorización Average Time of Active NameNode RPC Processing , obtenga el valor del nodo de NameService involucrado en esta alarma.
6. En el portal del FusionInsight Manager, seleccione O&M > Alarm > Thresholds > Name of the desired cluster > HDFS. Busque Average Time of Active NameNode RPC Processing y haga clic en el Modify en la columna Operation de la regla predeterminada. Se muestra la página Modify Rule. Cambie el Threshold al 150% del valor máximo dentro de un día antes y después de que se genere la alarma. Haga clic en OK para guardar el nuevo umbral.
   Figura 2 Modificar regla
   

7. Espere 5 minutos y luego compruebe si la alarma se borra automáticamente.
   • De ser así, no se requiere ninguna acción adicional.
   • Si no, vaya a 8.

Comprobar si el rendimiento de la CPU del nodo NameNode es suficiente.

8. En el portal de FusionInsight Manager, haga clic en O&M > Alarm >Alarms y compruebe si se genera ALM-12016 El uso de CPU excede el umbral para el nodo de NameNode.
   • En caso afirmativo, vaya a 9.
   • Si no, vaya a 11.

9. Maneje el ALM-12016 El uso de la CPU supera el umbral tomando las medidas recomendadas.
10. Espere 10 minutos y compruebe si la alarma 14021 se borra automáticamente.
    • De ser así, no se requiere ninguna acción adicional.
    • Si no, vaya a 11.

Comprobar si la memoria del nodo NameNode es demasiado pequeña.

11. En el portal de FusionInsight Manager, haga clic en O&M > Alarm >Alarms y compruebe si se genera ALM-14007 El uso de la memoria en montón de NameNode de HDFS supera el umbral para el nodo de NameNode.
    • En caso afirmativo, vaya a 12.
    • Si no, vaya a 14.

12. Maneje el ALM-14007 El uso de la memoria en montón de NameNode de HDFS supera el umbral tomando las medidas recomendadas.
13. Espere 10 minutos y compruebe si la alarma 14021 se borra automáticamente.
    • De ser así, no se requiere ninguna acción adicional.
    • Si no, vaya a 14.

Comprobar si los parámetros de NameNode están configurados correctamente.

14. En el portal del FusionInsight Manager, elija Cluster > Name of the desired cluster > Services > HDFS > Configurations > All Configurations. Busque el parámetro dfs.namenode.handler.count y vea su valor. Si el valor es menor o igual a 128, cámbielo a 128. Si el valor es mayor que 128 pero menor que 192, cámbielo a 192.
15. Busque el parámetro ipc.server.read.threadpool.size y vea su valor. Si el valor es menor que 5, cámbielo a 5.
16. Haga clic en Save y haga clic en OK.
17. En la página Instance de HDFS, seleccione el NameNode en espera de NameService involucrado en esta alarma y elija More > Restart Instance. Ingrese la contraseña y haga clic en OK. Espere hasta que se inicie el NameNode en espera.
18. En la página Instance de HDFS, seleccione el NameNode activo de NameService involucrado en esta alarma y elija More > Restart Instance. Ingrese la contraseña y haga clic en OK. Espere hasta que se inicie el NameNode activo.
19. Espere 1 hora y luego compruebe si la alarma se borra automáticamente.
    • De ser así, no se requiere ninguna acción adicional.
    • Si no, vaya a 20.

Recopilar información de fallas.

20. En el portal del FusionInsight Manager, elija O&M > Log > Download.
21. Seleccione el nodo siguiente en el clúster requerido desde el Service.
    • HDFS

22. Haga clic en en la esquina superior derecha y establezca Start Date y End Date para la recopilación de registros en 10 minutos antes y después del tiempo de generación de alarmas, respectivamente. A continuación, haga clic en Download.
23. Póngase en contacto con el y envíe los registros recopilados.

Eliminación de alarmas

Después de rectificar la falla, el sistema borra automáticamente esta alarma.

Información relacionada

Ninguna