ALM-14006 Número de archivos HDFS supera el umbral

Descripción

El sistema comprueba periódicamente el número de archivos HDFS cada 30 segundos y compara el número de archivos HDFS con el umbral. Esta alarma se genera cuando el sistema detecta que el número de archivos HDFS excede el umbral.

Si Trigger Count es 1, esta alarma se borra cuando el número de archivos HDFS es inferior o igual al umbral. Si Trigger Count es mayor que 1, esta alarma se borra cuando el número de archivos HDFS es menor o igual al 90% del umbral.

Atributo

Parámetros

Impacto en el sistema

El espacio de almacenamiento en disco es insuficiente, lo que puede provocar un error en la importación de datos. El rendimiento del sistema HDFS se ve afectado.

Causas posibles

El número de archivos HDFS excede el umbral.

Procedimiento

Comprobar el número de archivos en el sistema.

1. En FusionInsight Manager, compruebe el número de archivos HDFS. Específicamente, elija Cluster > Name of the desired cluster > Services > HDFS. Haga clic en el menú desplegable en la esquina superior derecha de Chart, elija Customize > File and Block y seleccione HDFS File y Total Blocks.
2. Seleccione Cluster > Name of the desired cluster > Services > HDFS > Configurations > All Configurations y busque el parámetro GC_OPTS en NameNode.
3. Configure el umbral del número de objetos del archivo de configuración. Específicamente, cambie el valor de Xmx (GB) en el parámetro GC_OPTS. El umbral (especificado por y) se calcula de la siguiente manera: y = 0.2007 x Xmx - 0.6312, donde x indica la capacidad de memoria Xmx (GB) e indica el número de archivos (unidad: kW). Ajuste el tamaño de la memoria según sea necesario.
4. Confirme que el valor de GC_PROFILE es custom para que la configuración GC_OPTS surta efecto. Haga clic en Save y elija More > Restart Instance para reiniciar el servicio.
5. Verifique si la alarma se ha borrado.
   • De ser así, no se requiere ninguna acción adicional.
   • Si no, vaya a 6.

Compruebe si existen archivos innecesarios en el sistema.

6. Inicie sesión en el cliente HDFS como usuario root. Ejecute cd para cambiar al directorio de instalación del cliente y ejecute source bigdata_env para configurar las variables de entorno.

   Si el clúster utiliza el modo de seguridad, realice la autenticación de seguridad.

   Ejecute el comando kinit hdfs e introduzca la contraseña como se le solicite. Obtenga la contraseña del administrador del clúster de MRS.

7. Ejecute hdfs dfs -ls file or directory para comprobar si se pueden eliminar los archivos del directorio.
   • En caso afirmativo, vaya a 8.
   • Si no, vaya a 9.

8. Ejecute el comando hdfs dfs -rm -r file or directory path. Después de eliminar los archivos innecesarios, espere hasta que los archivos se conserven en la papelera de reciclaje durante un período más largo que el valor de fs.trash.interval en el NameNode. Después compruebe si la alarma se ha rectificado.
   

   • De ser así, no se requiere ninguna acción adicional.
   • Si no, vaya a 9.

Recopilar información de fallas.

9. En FusionInsight Manager, elija O&M > Log > Download.
10. Expanda la lista desplegable junto al campo Service. En el cuadro de diálogo Services que se muestra, seleccione HDFS para el clúster de destino.
11. Haga clic en en la esquina superior derecha y establezca Start Date y End Date para la recopilación de registros en 10 minutos antes y después del tiempo de generación de alarmas, respectivamente. A continuación, haga clic en Download.
12. Póngase en contacto con y proporcione los registros recopilados.

Eliminación de alarmas

Esta alarma se borra automáticamente después de rectificar la falla.

Información relacionada

Reglas de configuración del parámetro JVM de NameNode

Valor predeterminado del parámetro JVM de NameNode GC_OPTS:

-Xms2G -Xmx4G -XX:NewSize=128M -XX:MaxNewSize=256M -XX:MetaspaceSize=128M -XX:MaxMetaspaceSize=128M -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=65 -XX:+PrintGCDetails -Dsun.rmi.dgc.client.gcInterval=0x7FFFFFFFFFFFFFE -Dsun.rmi.dgc.server.gcInterval=0x7FFFFFFFFFFFFFE -XX:-OmitStackTraceInFastThrow -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=1M -Djdk.tls.ephemeralDHKeySize=3072 -Djdk.tls.rejectClientInitiatedRenegotiation=true -Djava.io.tmpdir=${Bigdata_tmp_dir}