Estos contenidos se han traducido de forma automática para su comodidad, pero Huawei Cloud no garantiza la exactitud de estos. Para consultar los contenidos originales, acceda a la versión en inglés.
Centro de ayuda> MapReduce Service> Guía del usuario> Referencia de alarma (aplicable a MRS 3.x)> ALM-14008 El uso de memoria heap de DataNode supera el umbral
Actualización más reciente 2023-11-20 GMT+08:00
Ver PDF

ALM-14008 El uso de memoria heap de DataNode supera el umbral

Descripción

El sistema comprueba el uso de la memoria heap de HDFS DataNode cada 30 segundos y compara el uso real de la memoria heap con el umbral. El uso de la memoria heap de HDFS DataNode tiene un umbral predeterminado. Esta alarma se genera cuando el uso de la memoria heap de HDFS DataNode excede el umbral.

Puede cambiar el umbral en O&M > Alarm > Thresholds > Name of the desired cluster > HDFS.

Cuando el Trigger Count es 1, esta alarma se borra cuando el uso de la memoria heap de HDFS de DataNode es menor o igual al umbral. Cuando el Trigger Count es mayor que 1, esta alarma se borra cuando el uso de memoria heap de HDFS DataNode es menor o igual al 90% del umbral.

Atributo

ID de alarma

Gravedad de la alarma

Borrado automáticamente

14008

Importante

Sí

Parámetros

Nombre

Significado

Source

Especifica el clúster para el que se genera la alarma.

ServiceName

Especifica el servicio para el que se genera la alarma.

RoleName

Especifica el rol para el que se genera la alarma.

HostName

Especifica el host para el que se genera la alarma.

Trigger condition

Especifica el umbral que activa la alarma. Si el valor del indicador actual excede este umbral, se genera la alarma.

Impacto en el sistema

El uso de la memoria heap de HDFS DataNode es demasiado alto, lo que afecta al rendimiento de lectura/escritura de datos del HDFS.

Causas posibles

La memoria heap de HDFS DataNode es insuficiente.

Procedimiento

Eliminar archivos innecesarios.

  1. Inicie sesión en el cliente HDFS como usuario root. Ejecute cd para cambiar al directorio de instalación del cliente y ejecute source bigdata_env.

    Si el clúster utiliza el modo de seguridad, realice la autenticación de seguridad.

    Ejecute el comando kinit hdfs e introduzca la contraseña como se le solicite. Obtenga la contraseña del administrador.

  2. Ejecute el comando hdfs dfs -rm -r file or directory para eliminar archivos innecesarios.
  3. Verifique si la alarma se ha borrado.

    • De ser así, no se requiere ninguna acción adicional.
    • Si no, vaya a 4.

Comprobar el uso y la configuración de la memoria JVM de DataNode.

  1. En el portal del FusionInsight Manager, elija Cluster > Name of the desired cluster > Services > HDFS.
  2. En el área Basic Information, haga clic en NameNode(Active) para ir a HDFS WebUI.

    De forma predeterminada, el usuario admin no tiene los permisos para gestionar otros componentes. Si la página no se puede abrir o el contenido mostrado está incompleto al acceder a la interfaz de usuario nativa de un componente debido a la falta de permisos, puede crear manualmente un usuario con los permisos para gestionar ese componente.

  3. En HDFS WebUI, haga clic en la pestaña DataNodes y compruebe el número de bloques de todos los DataNodes relacionados con la alarma.
  4. En el portal del FusionInsight Manager, elija Cluster > Name of the desired cluster > Services > HDFS > Configurations > All Configurations. En Search, introduzca GC_OPTS para comprobar el parámetro de memoria GC_OPTS de HDFS->DataNode.

Ajustar la configuración en el sistema.

  1. Compruebe si la memoria está configurada correctamente según el número de bloques en 6 y los parámetros de memoria heap de DataNode en 7.

    • En caso afirmativo, vaya a 9.
    • Si no, vaya a 11.

    La asignación entre el número promedio de bloques de una instancia de DataNode y la memoria DataNode es la siguiente:

    • Si el número promedio de bloques de una instancia de DataNode llega a 2,000,000, los valores de referencia de los parámetros JVM del DataNode son los siguientes: -Xms6G -Xmx6G -XX:NewSize=512M -XX:MaxNewSize=512M
    • Si el número promedio de bloques de una instancia de DataNode llega a 5,000,000, los valores de referencia de los parámetros JVM del DataNode son los siguientes: -Xms12G -Xmx12G -XX:NewSize=1G -XX:MaxNewSize=1G

  2. Modifique los parámetros de memoria heap del DataNode basándose en la asignación entre el número de bloques y la memoria. Haga clic en Save y elija Dashboard > More > Restart Service.
  3. Verifique si la alarma se ha borrado.

    • De ser así, no se requiere ninguna acción adicional.
    • Si no, vaya a 11.

Recopilar información de fallas.

  1. En el portal del FusionInsight Manager, elija O&M > Log > Download.
  2. Seleccione HDFS en el clúster requerido en el Service.
  3. Haga clic en en la esquina superior derecha y establezca Start Date y End Date para la recopilación de registros en 10 minutos antes y después del tiempo de generación de alarmas, respectivamente. A continuación, haga clic en Download.
  4. Póngase en contacto con el y envíe los registros recopilados.

Eliminación de alarmas

Después de rectificar la falla, el sistema borra automáticamente esta alarma.

Información relacionada

Ninguna