Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.
Centro de ayuda> MapReduce Service> Guía del usuario> Referencia de alarma (aplicable a MRS 3.x)> ALM-14018 El uso de memoria no heap de NameNode supera el umbral
Actualización más reciente 2023-11-20 GMT+08:00
Ver PDF

ALM-14018 El uso de memoria no heap de NameNode supera el umbral

Descripción

El sistema comprueba el uso de memoria no heap del HDFS NameNode cada 30 segundos y compara el uso real con el umbral. El uso de memoria no heap del HDFS NameNode tiene un umbral predeterminado. Esta alarma se genera cuando el uso de memoria no heap del HDFS NameNode excede el umbral.

Los usuarios pueden elegir O&M > Alarm > Thresholds > Name of the desired cluster > HDFS para cambiar el umbral.

Esta alarma se borra cuando el uso de memoria no heap del HDFS NameNode es menor o igual que el umbral.

Atributo

ID de alarma

Gravedad de la alarma

Borrado automáticamente

14018

Importante

Sí

Parámetros

Nombre

Significado

Source

Especifica el clúster para el que se genera la alarma.

ServiceName

Especifica el servicio para el que se genera la alarma.

RoleName

Especifica el rol para el que se genera la alarma.

HostName

Especifica el host para el que se genera la alarma.

Trigger condition

Especifica el umbral que activa la alarma. Si el valor del indicador actual excede este umbral, se genera la alarma.

Impacto en el sistema

Si el uso de memoria del HDFS NameNode es demasiado alto, el rendimiento de lectura/escritura de datos de HDFS se verá afectado.

Causas posibles

La memoria no heap del HDFS NameNode es insuficiente.

Procedimiento

Eliminar archivos innecesarios.

  1. Inicie sesión en el cliente HDFS como usuario root. Ejecute el comando cd para ir al directorio de instalación del cliente y ejecute el comando source bigdata_env.

    Si el clúster adopta el modo de seguridad, realice la autenticación de seguridad.

    Ejecute el comando kinit hdfs e introduzca la contraseña como se le solicite. Obtenga la contraseña del administrador.

  2. Ejecute el comando hdfs dfs -rm -r file or directory path para eliminar archivos innecesarios.
  3. Compruebe si la alarma se ha borrado.

    • De ser así, no se requiere ninguna acción adicional.
    • Si no, vaya a 4.

Comprobar el uso y la configuración de la memoria no heap de JVM de NameNode.

  1. En el portal del FusionInsight Manager, elija Cluster > Name of the desired cluster > Services > HDFS. Se muestra la página de estado HDFS.
  2. En el área Basic Information, haga clic en NameNode(Active). Se muestra el HDFS WebUI.

    De forma predeterminada, el usuario admin no tiene los permisos para gestionar otros componentes. Si la página no se puede abrir o el contenido mostrado está incompleto al acceder a la interfaz de usuario nativa de un componente debido a la falta de permisos, puede crear manualmente un usuario con los permisos para gestionar ese componente.

  3. En HDFS WebUI, haga clic en la pestaña Overview. En Summary, compruebe el número de archivos, directorios y bloques en HDFS.
  4. En el portal del FusionInsight Manager, elija Cluster > Name of the desired cluster > Services > HDFS > Configurations > All Configurations. En Search, escriba GC_OPTS para comprobar el parámetro de memoria no heap de GC_OPTS de HDFS->NameNode.

Ajustar las configuraciones del sistema.

  1. Compruebe si la memoria no heap está configurada correctamente según el número de objetos de archivo en 6 y los parámetros no heap configurados para NameNode en 7.

    • En caso afirmativo, vaya a 9.
    • Si no, vaya a 12.

    La asignación recomendada entre el número de objetos de archivo HDFS (objetos de sistema de archivos = archivos + bloques) y los parámetros JVM configurados para NameNode es la siguiente:

    • Si el número de objetos de archivo llega a 10,000,000, se recomienda establecer los parámetros de JVM de la siguiente manera: -Xms6G -Xmx6G -XX:NewSize=512M -XX:MaxNewSize=512M
    • Si el número de objetos de archivo llega a 20,000,000, se recomienda establecer los parámetros JVM de la siguiente manera: -Xms12G -Xmx12G -XX:NewSize=1G -XX:MaxNewSize=1G
    • Si el número de objetos de archivo llega a 50,000,000, se recomienda establecer los parámetros JVM de la siguiente manera: -Xms32G -Xmx32G -XX:NewSize=3G -XX:MaxNewSize=3G
    • Si el número de objetos de archivo llega a 100,000,000, se recomienda establecer los parámetros JVM de la siguiente manera: -Xms64G -Xmx64G -XX:NewSize=6G -XX:MaxNewSize=6G
    • Si el número de objetos de archivo llega a 200,000,000, se recomienda establecer los parámetros JVM de la siguiente manera: -Xms96G -Xmx96G -XX:NewSize=9G -XX:MaxNewSize=9G
    • Si el número de objetos de archivo llega a 300,000,000, se recomienda establecer los parámetros JVM de la siguiente manera: -Xms164G -Xmx164G -XX:NewSize=12G -XX:MaxNewSize=12G

  2. Modifique el parámetro GC_OPTS del NameNode en función de la asignación entre el número de objetos de archivo y la memoria no heap.
  3. Guarde la configuración y haga clic en Dashboard > More > Restart Service.
  4. Verifique si la alarma se ha borrado.

    • De ser así, no se requiere ninguna acción adicional.
    • Si no, vaya a 12.

Recopilar información de fallas.

  1. En el portal del FusionInsight Manager, elija O&M > Log > Download.
  2. Seleccione los siguientes servicios en el clúster requerido en Service.

    • ZooKeeper
    • HDFS

  3. Haga clic en en la esquina superior derecha y establezca Start Date y End Date para la recopilación de registros en 10 minutos antes y después del tiempo de generación de alarmas, respectivamente. A continuación, haga clic en Download.
  4. Póngase en contacto con el y envíe los registros recopilados.

Eliminación de alarmas

Después de rectificar la falla, el sistema borra automáticamente esta alarma.

Información relacionada

Ninguna