ALM-38009 Sobrecarga de Kafka Topic (aplicable a MRS 3.1.0 y versiones anteriores)

Descripción

El sistema comprueba el estado de sobrecarga de cada topic de Kafka cada 60 segundos. Esta alarma se genera cuando el porcentaje de particiones de un topic en el disco sobrecargado excede el umbral (40% de forma predeterminada).

Su Trigger Count es 1. Esta alarma se borra cuando el porcentaje de particiones de un topic en el disco sobrecargado es inferior al umbral (40% de forma predeterminada).

Un disco sobrecargado se refiere al disco cuyo uso de E/S de una partición de disco es superior al 80%.

Por ejemplo:

Las particiones del Topic A se distribuyen en tres brokers. Los usos de E/S de las particiones de disco en dos brokers son superiores al 80%.

El porcentaje de particiones en el disco sobrecargado es 2/3, mayor que 40%, se genera esta alarma.

Atributo

Parámetros

Impacto en el sistema

La partición de disco tiene E/S frecuentes. Es posible que los datos no se escriban en el topic de Kafka para el que se genera la alarma.

Causas posibles

• Hay muchas réplicas configuradas para el topic.
• El parámetro para los mensajes del productor de escritura por lotes está configurado de forma inadecuada. El tráfico de servicio de este tema es demasiado pesado y la configuración de Partition actual no es apropiada.

Procedimiento

Comprobar el número de réplicas de topic.

1. En FusionInsight Manager, seleccione O&M > Alarm > Alarms. Busque la fila que contiene esta alarma, haga clic en y vea el nombre de host de Location.
2. En FusionInsight Manager, elija Cluster, haga clic en el nombre del clúster deseado, elija Services > Kafka > KafkaTopic Monitor, busque el tema para el que se genera la alarma y compruebe el número de réplicas.
3. Reduzca los factores de replicación del topic (por ejemplo, reducir a 3) si el número de réplicas es mayor que 3.

   Ejecute el siguiente comando en el cliente de FusionInsight para volver a planificar las réplicas de los topics de Kafka:

   kafka-reassign-partitions.sh --zookeeper {zk_host}:{port}/kafka --reassignment-json-file {manual assignment json file path} --execute

   Por ejemplo:

   /opt/client/Kafka/kafka/bin/kafka-reassign-partitions.sh --zookeeper 10.149.0.90:2181,10.149.0.91:2181,10.149.0.92:2181/kafka --reassignment-json-file expand-cluster-reassignment.json --execute

   

   En el archivo expand-cluster-reassignment.json, describa los brokers a los que se migran las Partitions del Topic en el siguiente formato: {"partitions":[{"topic": "topicName","partition": 1,"replicas": [1,2,3] }],"version":1}

4. Observe durante un período de tiempo y compruebe si la alarma está desactivada. Si la alarma persiste, vaya a 5.

Comprobar el plan de Partition de Topic.

5. En la página KafkaTopic Monitor, vea Topic Input Traffic en el área Topic Traffic de cada Topic, obtenga el Topic con el mayor valor y compruebe Partition de este Topic, así como la información sobre el host de estas Partitions.
6. Inicie sesión en el host consultado en 5 y ejecute el comando iostat -d -x para comprobar el valor %util de cada disco.
   

   • Si el valor %util de cada disco excede el umbral (80% predeterminado), expanda la capacidad del disco de Kafka. Después de la ampliación de capacidad, vuelva a planificar las particiones del tema haciendo referencia a 3.
   • Si los valores %util de los discos varían mucho, compruebe la configuración de la partición de disco de Kafka. Por ejemplo, compruebe el valor de log.dirs en el archivo ${BIGDATA_HOME}/FusionInsight_HD_/1_14_Broker/etc/server.properties.

     Ejecute el siguiente comando para ver la información Filesystem:

     df -h log.dirs value

     El resultado del comando es el siguiente.

     

   • Si la partición donde se encuentra el sistema de archivos coincide con la partición con un valor %util alto, planifique particiones de Kafka en discos inactivos, configure log.dirs como un directorio de disco inactivo y vuelva a planificar Partition de Topic haciendo referencia a 3. Asegúrese de que Partition de topic estén distribuidas uniformemente en cada disco.

7. Observe durante un período de tiempo y compruebe si la alarma está desactivada.
   • De ser así, no se requiere ninguna acción adicional.
   • Si no, repita 5 a 6 tres veces. A continuación, vaya a 8.

8. Observe durante un período de tiempo y compruebe si la alarma está desactivada.
   • De ser así, no se requiere ninguna acción adicional.
   • Si no, vaya a 9.

Recopilar información de fallas.

9. En FusionInsight Manager, seleccione O&M. En el panel de navegación de la izquierda, elija Log > Download.
10. Expanda la lista desplegable Service y seleccione Kafka para el clúster de destino.
11. Haga clic en en la esquina superior derecha y establezca Start Date y End Date para la recopilación de registros en 10 minutos antes y después del tiempo de generación de alarmas, respectivamente. A continuación, haga clic en Download.
12. Póngase en contacto con y proporcione los registros recopilados.

Eliminación de alarmas

Esta alarma se borra automáticamente después de rectificar la falla.

Información relacionada

Ninguna