Escalamiento de VW bajo demanda en el desacoplamiento de almacenamiento y cómputo: adaptación rentable a los requisitos de servicio flexibles y cambiantes

Antecedentes

A medida que una empresa crece rápidamente, el escalamiento de bases de datos se ha convertido en una forma estándar de manejar las crecientes necesidades comerciales. Desde una perspectiva a largo plazo, el método de escalamiento horizontal cuantitativo basado en las tendencias de la carga de trabajo (como se muestra en Figura 1) puede manejar eficazmente la alta concurrencia y hacer frente de manera confiable al crecimiento continuo del negocio.

Figura 1 Método tradicional de escalamiento horizontal

Sin embargo, en una dimensión temporal más detallada (por ejemplo, por semana o día), el método tradicional de escalado horizontal suele asignar demasiados recursos para manejar cargas de trabajo distintas, lo que genera ineficiencia. Como se muestra en Figura 2, el equipo de la plataforma intermedia de datos ejecuta trabajos ETL de 00:00 a 06:00 todos los días para importar una gran cantidad de datos fuera de línea. Sin embargo, la carga de trabajo del equipo de servicio fluctúa de manera irregular. El sobrecompromiso tradicional de recursos genera una gran cantidad de recursos de cómputo sin usar, lo que eleva los costos empresariales.

Figura 2 Escenarios de trabajo bajo diferentes cargas de trabajo

Una base de datos ideal debería escalar automáticamente los recursos hacia arriba o hacia abajo en función de los cambios en la carga de trabajo, lo que reduce el desperdicio y ahorra costos (como se muestra en Figura 3). Para un escalamiento eficiente y rentable, establezca especificaciones básicas de recursos para cargas de trabajo normales y amplíelas durante las horas pico para mantener un rendimiento estable. Los clústeres de DWS con almacenamiento y cómputo desacoplados admiten este escalamiento bajo demanda, adaptándose eficazmente a las fluctuaciones de carga en la dimensión temporal detallada. En tales clústeres, el sistema escala los recursos rápidamente cuando es necesario, lo que garantiza la confiabilidad incluso durante picos repentinos de carga de trabajo.

Figura 3 Escalamiento elástico con cargas de trabajo

VW primarios en el grupo de recursos fijos y VW elásticos en el grupo de recursos elásticos

Como se muestra en Figura 4, un clúster de DWS con almacenamiento y cómputo desacoplados se basa en un grupo de recursos fijos y un grupo de recursos elásticos.

• Grupo de recursos fijo:

  Hay un conjunto de VW primarios que se ajustan en función de las cargas de trabajo en el grupo de recursos fijos. Estos VW actúan como grupos de cómputo flexibles y se pueden vincular a diferentes cargas de trabajo para su aislamiento. Las especificaciones de los VW primarios en la arquitectura MPP controlan el límite de cuánto puede procesar una consulta SQL y la mayor cantidad de consultas por segundo (QPS) que puede manejar el sistema. Esto hace que los VW primarios sean ideales para tareas con una demanda estable y necesidades de respuesta rápida. DWS permite escalar horizontalmente los VW agregando nodos para manejar demandas crecientes. El administrador de la base de datos debe determinar las especificaciones de los VW primarios desde el principio, teniendo en cuenta los cambios futuros esperados en las cargas de trabajo.

• Grupo de recursos elástico

  El grupo de recursos elásticos es aplicable a escenarios de fluctuación de carga en la dimensión de tiempo detallada y contiene uno o más VW elásticos. Los VW elásticos desacoplan el almacenamiento del cómputo. La capa de almacenamiento utiliza una estructura compartida basada en OBS, mientras que la capa de cómputo utiliza una estructura sin nada compartido. Esto permite que el cómputo y el almacenamiento se escalen de forma independiente. La adición de nodos de cómputo evita la redistribución de datos, y el almacenamiento puede expandirse según sea necesario, lo que ofrece una capacidad ilimitada. Los VW elásticos comparten datos en tiempo real con los VW primarios. Esto evita retrasos en la actualización de metadatos y garantiza que los VW elásticos utilicen los metadatos más recientes para los trabajos.

Figura 4 Introducción a los VW

Selección del escalado manual o automático para los VW

DWS ofrece escalado manual y automático para diferentes necesidades bajo demanda.

• Escalado manual:

  El escalado manual funciona bien si se comprende cómo cambian las cargas de trabajo con el tiempo. Es ideal para situaciones en las que la carga cambia regularmente y se realizan grandes consultas durante estos cambios, como con trabajos por lotes periódicos. En este caso, puede escalar horizontalmente los recursos (hacia adentro o hacia afuera) de forma manual, según el patrón de carga conocido.

  Al configurar el escalado manual en la consola, también puede seleccionar el modo de vinculación de usuarios y el modo de descarga proporcional.

  • Modo de vinculación de usuarios: Al crear un VW elástico, vincule un usuario como se muestra en ② en Figura 5. Para obtener más información, consulte Escenario 1: Creación manual de VW elásticos en modo de vinculación de usuario para manejar cargas ETL.
  • Modo de descarga proporcional: Al crear un VW elástico, vincule un clúster lógico principal, como se muestra en ① en Figura 5. No vincula un clúster lógico principal ni un usuario. Para obtener más información, consulte Escenario 2: Creación manual de VW elásticos para descargar algunos trabajos del VW primario a los VW elásticos.

    Si vincula un clúster lógico principal, los VW elásticos creados se denominan VW elásticos dedicados. El kernel de la base de datos envía trabajos desde el clúster lógico principal vinculado a los VW elásticos dedicados. Es decir, los VW elásticos dedicados solo reciben trabajos del clúster lógico principal vinculado.

    Si no selecciona ningún clúster lógico principal ni un usuario, los VW elásticos creados se denominan VW elásticos públicos. El kernel de la base de datos envía trabajos desde cualquier clúster lógico principal a los VW elásticos públicos. Es decir, los VW elásticos públicos pueden recibir trabajos de todos los clústeres lógicos principales.

  Figura 5 Escalamiento manual de un VW
  
• Escalado automático:

  El escalado automático funciona bien si es principiante o no está familiarizado con sus cargas de trabajo. Funciona automáticamente sin intervención manual. Solo debe pagar por los recursos. Funciona bien cuando las cargas de trabajo implican consultas complejas frecuentes o picos repentinos que duran de minutos a horas. El sistema detecta la alta demanda y escala los recursos al instante. A medida que disminuye la demanda, reduce los recursos automáticamente, manteniendo un rendimiento estable y un uso eficiente de los recursos.

  Para obtener más información, consulte Escenario 3: Creación automática de VW elásticos.

Restricciones

• La función solo está disponible para clústeres de almacenamiento y cómputo desacoplados de la versión 9.1.1.100 o posterior.
• Para crear VW elásticos, deshabilite primero las instantáneas de grano fino. Para obtener más información, consulte Creación y gestión de una instantánea de DWS.

Escenario 1: Creación manual de VW elásticos en modo de vinculación de usuario para manejar cargas ETL

Como se muestra en Figura 6, el equipo de middle-end de datos de la empresa realiza operaciones ETL de 00:00 a 06:00 todos los días. user1 y user2 necesitan importar una gran cantidad de datos fuera de línea. La carga de trabajo ETL crece en dos fases.

DWS utiliza el VW1 elástico para el aumento inicial de la carga de trabajo a las 00:00. Cuando la carga de trabajo aumenta nuevamente a las 04:00, DWS activa los VW2 elásticos según lo planeado para manejar el segundo aumento.

La importación de datos dura hasta las 06:00. DWS recupera periódicamente los dos VW elásticos manuales. Solo se pagan tarifas adicionales por el período de 00:00 a 06:00, en lugar de asignar recursos en exceso al VW principal, lo que reduce los costos.

Figura 6 Escalado manual de los VW

1. Cree un clúster de DWS con almacenamiento y cómputo desacoplados y cree los usuarios user1 y user2. Para obtener más información, consulte Creación de un clúster de DWS con almacenamiento y cómputo desacoplados.
2. Inicie sesión en la consola de DWS. En el panel de navegación, seleccione Dedicated Clusters > Clusters.
3. En la lista de clústeres, haga clic en el nombre del clúster de destino para ir a la página Cluster Information.
4. En el panel de navegación superior, seleccione Logical Clusters. En la página que se muestra, haga clic en Add Plan.
5. Establezca los siguientes parámetros para crear VW1 y vincularlo a user1.

   Tabla 1 Descripción de parámetros

   Parámetro	Valor
   Plan Type	Periodic
   Cluster Name	VW1
   Bind Main Logical Cluster	Deselect
   Bind User	user1
   Nodes	3
   Time Range	Seleccione el período de ejecución de ETL, por ejemplo, de 1 a 3 meses.
   Period Type	Every Week
   Time Configuration (UTC)	Create Logical Cluster Before: Seleccione todo, 00:00 Delete Logical Cluster After: Seleccione todo, 06:00

   Figura 7 Creación de VW1 y vinculación a un usuario
   

6. Repita 5 para crear VW2 y vincularlo a user2. Configure Time Configuration (UTC) de la siguiente manera:
   • Create Logical Cluster Before: Seleccione todo, 04:00
   • Delete Logical Cluster After: Seleccione todo, 06:00

7. Para consultar la relación de vinculación entre un usuario y VW, consulte la columna nodegroup de pg_user.
   1. Vea el VW elástico vinculado al usuario.

      1	SELECT usename, nodegroup from pg_user where usename= 'user1';

   2. Vea el usuario vinculado al VW elástico.

      1	SELECT usename, nodegroup from pg_user where nodegroup='VW1';

Después de realizar los pasos anteriores, los trabajos ejecutados por user1 se completan en VW1 de 00:00 a 06:00. De 04:00 a 06:00, los trabajos ejecutados por user2 se completan en VW2.

Después de las 06:00, VW1 y VW2 se eliminan automáticamente para reducir los costos.

Figura 8 Modo de vinculación de usuarios

Escenario 2: Creación manual de VW elásticos para descargar algunos trabajos del VW primario a los VW elásticos

A continuación, se sigue utilizando el equipo de middle-end de datos como ejemplo para describir el modo de descarga proporcional. Al crear un VW elástico, no lo vincule a un usuario. En su lugar, vincúlelo al clúster lógico principal.

user1 está vinculado al VW primario v3_logical y user2 está vinculado al VW primario v3_logical_2. Los trabajos enviados por los dos usuarios incluyen cargas ETL y operaciones DML.

De 00:00 a 06:00 todos los días, la carga ETL aumenta. Durante la creación del VW1, configure el VW1 para que se cree a las 00:00 todos los días y se elimine a las 06:00 todos los días, y configure Bind Main Logical Cluster como v3_logical.

1. Cree un clúster de DWS con almacenamiento y cómputo desacoplados. Para obtener más información, consulte Creación de un clúster de DWS con almacenamiento y cómputo desacoplados.
2. Agregue el segundo VW primario y nómbrelo v3_logical_2.
   1. Inicie sesión en la consola de DWS. En el panel de navegación, seleccione Dedicated Clusters > Clusters.
   2. En la lista de clústeres, haga clic en el nombre del clúster de destino para ir a la página Cluster Information.
   3. En el panel de navegación superior, seleccione Logical Clusters. En la página que se muestra, haga clic en Add Logical Cluster.
   4. Agregue el VW primario v3_logical_2. Si no hay ningún nodo disponible, agregue un nodo.

3. Cree user1 y user2 y vincúlelos a v3_logical y v3_logical_2, respectivamente.

   1 2	CREATE USER user1 NODE GROUP "v3_logical" PASSWORD '{password}'; CREATE USER user2 NODE GROUP "v3_logical_2" PASSWORD '{password}';

4. Vuelva a la página Logical Clusters y haga clic en Add Plan.
5. Cree VW1 y vincúlelo a v3_logical. En este caso, VW1 es un VW elástico dedicado.

   Tabla 2 Descripción de parámetros

   Parámetro	Valor
   Plan Type	Periodic
   Cluster Name	VW1
   Bind Main Logical Cluster	v3_logical
   Bind User	Deselect
   Nodes	3
   Time Range	Seleccione el período de ejecución de ETL, por ejemplo, de 1 a 3 meses.
   Period Type	Every Week
   Time Configuration (UTC)	Create Logical Cluster Before: Seleccione todo, 00:00 Delete Logical Cluster After: Seleccione todo, 06:00

   Figura 9 Creación de VW1 y vinculación a un clúster lógico principal
   

6. Ejecute las sentencias SQL anteriores para configurar la estrategia de descarga dedicada. La tasa de descarga es del 60 %, es decir, el VW principal descarga el 60 % de los trabajos al VW1 elástico dedicado, como se muestra en la Figura 10.

   ALTER NODE GROUP v3_logical SET offloading_strategy TO dedicated; 
   ALTER NODE GROUP v3_logical SET offloading_rate TO 60;

   Tabla 3 Parámetros de ALTER NODE GROUP

   Parámetro	Descripción	Rango de valores
   groupname	Node group que se renombrará	Nombre válido del node group
   SET PARENT_NAME TO parent_group_name	Nombre del clúster lógico clásico correspondiente al clúster lógico elástico. Este parámetro solo está disponible para la expansión de concurrencia elástica.	Para nombrar un clúster lógico, encierre el nombre entre comillas. Las comillas dobles indican que el nombre del clúster distingue entre mayúsculas y minúsculas.
   SET [NOT] ELASTIC	Este parámetro solo está disponible para la distribución automática de cargas de trabajo de escalamiento manual. NOT ELASTIC indica que el clúster lógico elástico no pertenece al grupo de recursos elásticos. ELASTIC indica que el clúster lógico elástico pertenece al grupo de recursos elásticos.	-
   SET OFFLOADING_STRATEGY TO new_offloading_strategy	Este parámetro solo está disponible para la distribución automática de cargas de trabajo de escalamiento manual y debe usarse junto con SET OFFLOADING_RATE. Este parámetro especifica la política de descarga del clúster lógico principal. Este parámetro solo está disponible para clústeres de la versión 9.1.1.100 o posterior. Puede configurar un clúster lógico elástico como un clúster lógico elástico dedicado especificando PARENT_NAME y ELASTIC. Por ejemplo, si hay el clúster lógico principal v3_logical y el clúster lógico elástico computing_group1 en un clúster, puede ejecutar ALTER NODE GROUP computing_group1 SET ELASTIC y ALTER NODE GROUP computing_group1 SET PARENT_NAME TO "v3_logical" para configurar computing_group1 como el clúster lógico elástico dedicado de v3_logical. Esto significa que computing_group1 ejecuta solo las cargas de trabajo del clúster lógico principal v3_logical. Para configurar un clúster lógico elástico público, solo necesita especificar ELASTIC. PARENT_NAME no es necesario. Las cargas de trabajo ejecutadas por un clúster lógico elástico público pueden provenir de cualquier clúster lógico principal en un clúster.	None, Dedicated, o Elastic None: Las cargas de trabajo del clúster lógico principal se completan por sí mismas y no se descargarán. dedicated: El clúster lógico principal enruta algunas cargas de trabajo a clústeres lógicos elásticos dedicados. La proporción de descarga está controlada por el parámetro offloading_rate. elastic: El clúster lógico principal enruta algunas cargas a clústeres lógicos elásticos dedicados y públicos. La proporción de descarga está controlada por el parámetro offloading_rate.
   SET OFFLOADING_RATE TO value	Este parámetro solo está disponible para la distribución automática de cargas de trabajo de escalamiento manual y debe usarse junto con SET OFFLOADING_STRATEGY. Este parámetro controla el porcentaje de descarga del clúster lógico principal. Este parámetro solo está disponible para clústeres de la versión 9.1.1.100 o posterior. SET OFFLOADING_STRATEGY y SET OFFLOADING_RATE se utilizan juntos para habilitar la distribución automática de cargas de trabajo de escalamiento manual. Por ejemplo, hay el clúster lógico principal v3_logical, el clúster lógico elástico dedicado computing_group1 y el clúster lógico elástico público computing_group2 en un clúster. Si OFFLOADING_STRATEGY se establece en dedicated y OFFLOADING_RATE se establece en 40 para v3_logical, el 40 % de las cargas de trabajo de v3_logical se pueden enrutar al clúster lógico elástico dedicado computing_group1 para su ejecución. Si OFFLOADING_STRATEGY se establece en elastic y OFFLOADING_RATE se establece en 40 para v3_logical, el 40 % de las cargas de trabajo de v3_logical se pueden enrutar al clúster lógico elástico dedicado computing_group1 y al clúster lógico elástico público computing_group2 para su ejecución en función de una política de round robin.	De 0 a 100 El porcentaje de descarga puede no alcanzar el valor de OFFLOADING_RATE. Los motivos son los siguientes: La distribución automática de cargas de trabajo solo se aplica a las cargas de trabajo DML de todas las tablas V3. Para garantizar el rendimiento de ejecución de las cargas de trabajo simples (el costo planificado de las cargas de trabajo es inferior a vw_offloading_min_cost), las cargas de trabajo se ejecutan en el clúster lógico primario, aunque se ejecuten en los clústeres lógicos elásticos.

   Figura 10 VW1 elástico dedicado
   

7. Cree el VW2 elástico para procesar trabajos de user1 y user2. Debido a que el trabajo de user1 superó la capacidad de un VW elástico único y el trabajo de user2 necesitaba ser descargado al VW elástico.

   Crear dos VW más sería costoso.

   Seleccione la estrategia de descarga elástica.

   1. Cree VW2 elástico haciendo referencia a 4 a 5. Sin embargo, no vincule el VW a ningún usuario ni clúster lógico principal. Es decir, VW2 es un VW elástico público.
   2. Ejecute las siguientes sentencias DDL para cambiar la estrategia de descarga de los VW primarios v3_logical y v3_logical_2 a elastic. Es decir, los trabajos de los VW primarios se pueden descargar al VW elástico dedicado y al VW elástico público.

      1 2 3 4

      ALTER NODE GROUP v3_logical set offloading_strategy TO elastic; ALTER NODE GROUP v3_logical_2 set offloading_strategy TO elastic; ALTER NODE GROUP v3_logical set offloading_rate TO 60; ALTER NODE GROUP v3_logical_2 set offloading_rate TO 20;

   Después de la configuración, como se muestra en Figura 11, el 40 % de los trabajos de user1 se ejecutan en v3_logical. El resto, el 60 %, se divide por igual: el 30 % en el VW1 elástico dedicado y el 30 % en el VW2 elástico público. user2 envía el 80 % de sus trabajos a v3_logical_2 y el 20 % al VW2 elástico público.

   Es decir, la parte verde de la figura es el VW elástico público, y algunos trabajos de user1 y user2 se descargan al VW para su ejecución.

   Figura 11 VW2 elástico público
   

Escenario 3: Creación automática de VW elásticos

Los entornos de servicio a menudo se enfrentan a cargas de trabajo impredecibles en lugar de patrones fijos. El escalamiento manual no es efectivo para estas cargas aleatorias, ya que los usuarios no pueden anticipar cuándo crear o recuperar VW elásticos.

Para resolver esto, se introdujo el escalamiento automático para VW elásticos. Gestiona de forma inteligente los VW elásticos mediante un sistema de activación pasiva para procesar cargas de trabajo aleatorias. El sistema monitorea las colas de trabajos en tiempo real. Durante los picos repentinos de carga de trabajo (como se muestra en Figura 12), crea VW adicionales para manejar las demandas de cómputo incrementadas, lo que garantiza un funcionamiento sin problemas y mejora el rendimiento del clúster. Una vez que la carga de trabajo vuelve a niveles normales, el sistema recupera los VW excedentes para evitar costos innecesarios.

El sistema escala automáticamente los recursos sin intervención manual. El escalamiento automático reduce los costos, aumenta la eficiencia mediante el ajuste dinámico de los recursos, mejora la throughput del clúster y mantiene un rendimiento estable durante los cambios de carga de trabajo. Es la opción ideal para manejar cargas de trabajo impredecibles.

Figura 12 Escalamiento automático de VW

Como se muestra en Figura 13, las cargas de trabajo muestran picos claros, pero carecen de patrones consistentes.

El sistema crea VW1 en t1 y lo recupera en t2.

Durante el siguiente pico de carga de trabajo, la carga de trabajo máxima aumenta significativamente. Crear VW1 en t3 no es suficiente, por lo que el sistema crea VW2 para manejar la demanda. Una vez que la carga disminuye, el sistema recupera VW2 en t5 y VW1 en t6.

Todo este proceso se ejecuta automáticamente. El sistema dirige las cargas de trabajo de ráfaga a los VW elásticos sin requerir intervención manual.

Figura 13 Fluctuación significativa de la carga

• DWS crea un VW elástico con el mismo número de nodos que el VW principal. No puede cambiar esta configuración. Crear un VW tarda alrededor de 4 a 5 minutos. Las colas de trabajos a corto plazo pueden retrasar el proceso. Para evitar problemas, mantenga las colas de trabajos del clúster durante más de 10 minutos.
• Las reglas de escalamiento automático predeterminadas son las siguientes, pero puede modificarlas en la consola de gestión. Para obtener más información, consulte Parámetros GUC relacionados con el escalado automático de VW.
  • El sistema crea un VW elástico cuando hay más de 10 trabajos en cola en el VW principal.
  • El sistema crea hasta cinco VW elásticos por VW principal.
  • Cada VW elástico gestiona hasta 60 trabajos a la vez.
  • Si algún VW elástico permanece inactivo durante más de 5 minutos, el sistema lo recuperará automáticamente.

1. Cree un clúster de DWS con almacenamiento y cómputo desacoplados. Para obtener más información, consulte Creación de un clúster de DWS con almacenamiento y cómputo desacoplados.
2. Inicie sesión en la consola de DWS. En el panel de navegación, seleccione Dedicated Clusters > Clusters.
3. En la lista de clústeres, haga clic en el nombre del clúster de destino para ir a la página Cluster Information.
4. En el panel de navegación superior, seleccione Logical Clusters y habilite Auto Resiliency Switch.
   Figura 14 Habilitación del cambio de resiliencia automática
   

5. Ejecute sentencias SQL para crear y establecer un grupo de recursos, vincular un usuario al grupo de recursos y habilitar el escalado automático para el grupo de recursos especificado. En el comando, poolg indica el nombre del grupo de recursos, que se puede establecer según sea necesario.
   El parámetro GUC enable_concurrency_scaling controla si se habilita el escalado automático para el grupo de recursos.

   1 2 3 4 5 6 7 8

   ---Create a new job resource pool or reuse an existing resource pool. CREATE RESOURCE POOL "poolg" WITH(nodegroup = 'v3_logical'); ---Bind the resource pool to a user. ALTER USER "user1" WITH RESOURCE POOL "poolg"; ---Enable auto scaling for the resource pool. ALTER RESOURCE POOL "poolg" WITH (enable_concurrency_scaling=true);

Parámetros GUC relacionados con el escalado automático de VW

Puede modificar los siguientes parámetros GUC relacionados con el escalado automático de VW en la consola. Para obtener más información, consulte Modificación de los parámetros GUC del clúster de DWS.

• concurrency_scaling_max_idle_time: Especifica el tiempo de inactividad máximo de un VW elástico. Si el tiempo de inactividad excede el valor de este parámetro, el VW se recuperará automáticamente. El valor predeterminado es 5 minutos.
• concurrency_scaling_limit_per_main_vw: Especifica la cantidad máxima de VW elásticos que se pueden crear automáticamente para cada VW principal. El valor predeterminado es 5.
• concurrency_scaling_max_vw_active_statements: Especifica la cantidad máxima de trabajos simultáneos que puede ejecutar cada VW elástico. El valor predeterminado es 60.
• concurrency_scaling_max_waiting_statements: Especifica la cantidad máxima de trabajos que se pueden poner en cola en un VW principal. If the number of jobs exceeds the value of this parameter, an elastic VW is automatically created. The default value is 10.

Documentación

• Adición o eliminación elástica de un clúster lógico