Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.

Centro de ayuda> MapReduce Service> Guía del usuario> Referencia de alarma (aplicable a MRS 3.x)> ALM-14020 Número de entradas en el directorio de HDFS supera el umbral

Actualización más reciente 2023-11-20 GMT+08:00

Ver PDF

ALM-14020 Número de entradas en el directorio de HDFS supera el umbral

Descripción

El sistema obtiene el número de subarchivos y subdirectorios en un directorio especificado cada hora y comprueba si alcanza el porcentaje del umbral (el número máximo de subarchivos y subdirectorios en un directorio HDFS, el umbral para activar una alarma es de 90% de forma predeterminada). Si excede el porcentaje del umbral, se activa una alarma.

Cuando el número de subarchivos y subdirectorios en el directorio la alarma es menor que el porcentaje del umbral, la alarma se borra automáticamente. Cuando el conmutador de monitorización está desactivado, se borran las alarmas correspondientes a todos los directorios. Si se elimina un directorio de la lista de supervisión, se borran las alarmas correspondientes al directorio.

El parámetro dfs.namenode.fs-limits.max-directory-items especifica el número máximo de subarchivos y subdirectorios en el directorio HDFS. Su valor predeterminado es 1048576. Si el número de subarchivos y subdirectorios de un directorio excede el valor del parámetro, no se pueden crear subarchivos y subdirectorios en el directorio.
El parámetro dfs.namenode.directory-items.monitor especifica la lista de directorios que se van a supervisar. Su valor predeterminado es /tmp,/SparkJobHistory,/mr-history.
El parámetro dfs.namenode.directory-items.monitor.enabled se utiliza para activar o desactivar el conmutador de supervisión. Su valor predeterminado es true, lo que significa que el conmutador de monitorización está habilitado de forma predeterminada.

Atributo

ID de alarma	Gravedad de la alarma	Borrado automáticamente
14020	Importante	Sí

Parámetros

Nombre	Significado
Source	Especifica el clúster para el que se genera la alarma.
ServiceName	Especifica el servicio para el que se genera la alarma.
RoleName	Especifica el rol para el que se genera la alarma.
NameServiceName	Especifica el servicio NameService para el que se genera la alarma.
Directory	Especifica el directorio para el que se genera la alarma.
Trigger Condition	Especifica el umbral que activa la alarma. Si el valor del indicador actual excede este umbral, se genera la alarma.

Impacto en el sistema

Si el número de entradas en el directorio supervisado supera el 90% del umbral, se activa una alarma, pero se pueden agregar entradas al directorio. Una vez que se supera el umbral máximo, las entradas no se agregarán al directorio.

Causas posibles

El número de entradas en el directorio supervisado supera el 90% del umbral.

Procedimiento

Comprobar si existen archivos innecesarios en el sistema.

Inicie sesión en el cliente HDFS como usuario root. Ejecute el comando cd para ir al directorio de instalación del cliente y ejecute el comando source bigdata_env para establecer las variables de entorno.
Si el clúster está en modo de seguridad, se requiere autenticación de seguridad.

Ejecute el comando kinit hdfs e introduzca la contraseña como se le solicite. Obtenga la contraseña del administrador.
Ejecute el siguiente comando para comprobar si se pueden eliminar archivos y directorios en el directorio con la alarma:
hdfs dfs -ls Directory with the alarm
- En caso afirmativo, vaya a 3.
- Si no, vaya a 5.
Ejecute el siguiente comando para eliminar archivos innecesarios.
hdfs dfs -rm -r -f File or directory path
Espere 1 hora y compruebe si la alarma está desactivada.
- De ser así, no se requiere ninguna acción adicional.
- Si no, vaya a 5.

Comprobar si el umbral está configurado correctamente.

En el portal del FusionInsight Manager, elija Cluster > Name of the desired cluster > Services > HDFS > Configurations > All Configurations. Busque el parámetro dfs.namenode.fs-limits.max-directory-items y compruebe si el valor del parámetro es apropiado.
- En caso afirmativo, vaya a 9.
- Si no, vaya a 6.
Aumente el valor del parámetro.
Guarde la configuración y haga clic en Dashboard > More > Restart Service.
Espere 1 hora y compruebe si la alarma está desactivada.
- De ser así, no se requiere ninguna acción adicional.
- Si no, vaya a 9.

Recopilar información de fallas.

En el portal del FusionInsight Manager, elija O&M > Log > Download.
Seleccione HDFS en el clúster requerido en el Service.
Haga clic en en la esquina superior derecha y establezca Start Date y End Date para la recopilación de registros en 10 minutos antes y después del tiempo de generación de alarmas, respectivamente. A continuación, haga clic en Download.
Póngase en contacto con el y envíe los registros recopilados.