ALM-14026 Bloques en el DataNode superan el umbral

Descripción

El sistema comprueba el número de bloques de cada DataNode cada 30 segundos. Esta alarma se genera cuando el número de bloques en el DataNode excede el umbral.

Si Trigger Count es de 1 y el número de bloques en el DataNode es menor o igual que el umbral, esta alarma se borra. Si Trigger Count es mayor que 1 y el número de bloques en el DataNode es menor o igual al 90% del umbral, esta alarma se borra.

Atributo

Parámetros

Impacto en el sistema

Si se informa de esta alarma, hay demasiados bloques en el DataNode. En este caso, la escritura de datos en el HDFS puede fallar debido a espacio en disco insuficiente.

Causas posibles

• El umbral de alarma está configurado incorrectamente.

• La desviación de los datos se produce entre los DataNodes.
• El espacio en disco configurado para el clúster HDFS es insuficiente.

Procedimiento

Cambiar el umbral.

1. En FusionInsight Manager, elija Cluster, haga clic en el nombre del clúster deseado y elija HDFS. A continuación, elija Configurations > All Configurations. En la página mostrada, busque el parámetro GC_OPTS en la sección HDFS->DataNode.
2. Establezca el umbral de los bloques de DataNode. Específicamente, cambie el valor de Xmx del parámetro GC_OPTS. Xmx especifica la memoria, y cada memoria GB admite un máximo de bloques de 500,000 DataNode. Establezca la memoria según sea necesario. Confirme que GC_PROFILE está establecido en custom y guarde la configuración.
3. Elija Cluster, haga clic en el nombre del clúster deseado y elija Instancia HDFS > Instance. Seleccione la instancia DataNode cuyo estado es Expired, haga clic en More y seleccione Restart Instance para que la configuración de GC_OPTS surta efecto.
4. Compruebe si la alarma se borra 5 minutos más tarde.
   • De ser así, no se requiere ninguna acción adicional.
   • Si no, vaya a 5.

Comprobar si se informan las alarmas asociadas.

5. En FusionInsight Manager seleccione O&M > Alarm > Alarms y compruebe si existe la alarma ALM-14002 El uso del disco de DataNode supera el umbral.
   • En caso afirmativo, vaya a 6.
   • Si no, vaya a 8.

6. Maneje la alarma siguiendo las instrucciones en ALM-14002 El uso del disco de DataNode supera el umbral y compruebe si la alarma está desactivada.
   • En caso afirmativo, vaya a 7.
   • Si no, vaya a 8.

7. Compruebe si la alarma se borra 5 minutos más tarde.
   • De ser así, no se requiere ninguna acción adicional.
   • Si no, vaya a 8.

Expandir la capacidad de DataNode.

8. Amplíe la capacidad del DataNode.
9. En FusionInsight Manager, espere 5 minutos y compruebe si la alarma está desactivada.
   • De ser así, no se requiere ninguna acción adicional.
   • Si no, vaya a 10.

Recopilar información de fallas.

10. En FusionInsight Manager, seleccione O&M. En el panel de navegación de la izquierda, elija Log > Download.
11. Expanda la lista desplegable junto al campo Service. En el cuadro de diálogo Services que se muestra, seleccione HDFS para el clúster de destino.
12. Haga clic en en la esquina superior derecha y establezca Start Date y End Date para la recopilación de registros en 20 minutos antes y después del tiempo de generación de alarmas, respectivamente. A continuación, haga clic en Download.
13. Póngase en contacto con y proporcione los registros recopilados.

Eliminación de alarmas

Esta alarma se borra automáticamente después de rectificar la falla.

Información relacionada

Reglas de configuración del parámetro JVM de DataNode.

Valor predeterminado del parámetro DataNode JVM GC_OPTS:

-Xms2G -Xmx4G -XX:NewSize=128M -XX:MaxNewSize=256M -XX:MetaspaceSize=128M -XX:MaxMetaspaceSize=128M -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=65 -XX:+PrintGCDetails -Dsun.rmi.dgc.client.gcInterval=0x7FFFFFFFFFFFFFE -Dsun.rmi.dgc.server.gcInterval=0x7FFFFFFFFFFFFFE -XX:-OmitStackTraceInFastThrow -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=1M -Djdk.tls.ephemeralDHKeySize=2048

El número promedio de bloques almacenados en cada instancia de DataNode en el clúster es: Número de bloques HDFS x 3/Número de DataNodes. Si cambia el número promedio de bloques, debe cambiar -Xms2G -Xmx4G -XX:NewSize=128M -XX:MaxNewSize=256M en el valor predeterminado. En la siguiente tabla se enumeran los valores de referencia.

Xmx especifica la memoria que corresponde al umbral del número de bloques de DataNode y cada memoria GB soporta un máximo de bloques de 500,000 DataNode. Establezca la memoria según sea necesario.