ALM-45426 El uso de la cuota de cantidad del servicio ClickHouse en ZooKeeper supera el umbral

Descripción

El módulo de alarma comprueba el uso de cuota del servicio ClickHouse en el ZooKeeper cada 60 segundos. Esta alarma se genera cuando el módulo de alarma detecta que el uso excede el umbral (90%).

Esta alarma se borra cuando el sistema detecta que el uso es menor que el umbral y la alarma se borra.

Atributo

Parámetros

Impacto en el sistema

Una vez que la cuota de cantidad de ZooKeeper del servicio ClickHouse supera el umbral, no puede realizar operaciones de clúster en el servicio ClickHouse en FusionInsight Manager. Como resultado, no se puede utilizar el servicio ClickHouse.

Causas posibles

• Cuando se crean, insertan o eliminan datos de tabla, el ClickHouse crea znodes en nodos de ZooKeeper. A medida que aumenta el volumen de servicio, el número de znodes puede exceder el umbral configurado.
• No se ha establecido ningún límite de cuota para el directorio de metadatos /clickhouse de ClickHouse en ZooKeeper.

Procedimiento

Comprobar el número de znodes creados por ClickHouse en ZooKeeper.

1. Inicie sesión en el host donde se encuentra el cliente ZooKeeper e inicie sesión en el cliente ZooKeeper.

   Cambie al directorio de instalación del cliente.

   Ejemplo: cd /opt/client

   Ejecute el siguiente comando para configurar las variables de entorno:

   source bigdata_env

   Ejecute el siguiente comando para autenticar al usuario (omita este paso en el modo común):

   kinit Component service user

   Ejecute el siguiente comando para iniciar sesión en la herramienta de cliente:

   zkCli.sh -server service IP address of the node where the ZooKeeper role instance locates:client port

2. Ejecute el siguiente comando para comprobar la cuota utilizada por el ClickHouse en el ZooKeeper y comprobar si la información de cuota está correctamente establecida:
   listquota /clickhouse

   absolute path is /zookeeper/quota/clickhouse
   Quota for path /clickhouse does not exist.

   Si la información anterior indica que la configuración de la cuota es incorrecta, vaya a 3.

   Si no, vaya a 5.

3. Inicie sesión en FusionInsight Manager y elija Cluster > Services > ZooKeeper. En la página mostrada, haga clic en Configurations y haga clic en All Configurations. En esta página de subpestaña, busque quotas.auto.check.enable para comprobar si su valor es de true.

   Si el valor no es true, cambie el valor a true y haga clic en Save.

4. En FusionInsight Manager, elija Cluster > Services > ClickHouse, haga clic en More, y seleccione Synchronize Configuration. Una vez que la sincronización se haya realizado correctamente, vaya a 1.
5. Ejecute el siguiente comando y compruebe si la relación entre el valor de count de Output stat y el valor de count de Output quota en la salida del comando es mayor que 0.9:
   listquota /clickhouse

   absolute path is /zookeeper/quota/clickhouse
   Output quota for /clickhouse count=200000,bytes=1000000000
   Output stat for /clickhouse count=2667,bytes=60063

   En la información anterior, el valor count de Output stat es de 2667 y el valor count de Output quota es de 200000.

   • En caso afirmativo, vaya a 6.
   • En caso negativo, compruebe si la alarma se borra 5 minutos después. Si la alarma persiste, vaya a 8.

6. En FusionInsight Manager, elija Cluster > Services > ClickHouse > Configurations > All Configurations, busque el parámetro clickhouse.zookeeper.quota.node.count, y cambie el valor de este parámetro al doble del valor de count de Output stat en 5.
7. Reinicie la instancia ClickHouse para la que se genera la alarma y compruebe si la alarma se borra 5 minutos después.
   • En caso afirmativo, no es necesario hacer nada más.
   • En caso negativo, vuelva a realizar 6 y compruebe si la alarma se borra 5 minutos más tarde. Si la alarma persiste, vaya a 8.

Recopilar información de fallas.

8. En FusionInsight Manager, seleccione O&M. En el panel de navegación de la izquierda, elija Log > Download.
9. Expanda la lista desplegable Service y seleccione ClickHouse para el clúster de destino.
10. Elija el host correspondiente de la lista de hosts.
11. Haga clic en en la esquina superior derecha y establezca Start Date y End Date para la recopilación de registros en 1 hora antes y después del tiempo de generación de alarma, respectivamente. A continuación, haga clic en Download.
12. Póngase en contacto con y proporcione los registros recopilados.

Eliminación de alarmas

Esta alarma se borra automáticamente después de rectificar la falla.

Información relacionada

Ninguna