Descripción

En escenarios de aplicaciones de big data, especialmente análisis y procesamiento de datos en tiempo real, el número de nodos de clúster debe ajustarse dinámicamente de acuerdo con los cambios en el volumen de datos para proporcionar el número requerido de recursos. La función de escalado automático de MRS permite escalar automáticamente los nodos de tarea de un clúster para que coincidan con las cargas del clúster. Si el volumen de datos cambia periódicamente, puede configurar una regla de escalado automático para que el número de nodos de tarea se pueda ajustar automáticamente en un período de tiempo fijo antes de que cambie el volumen de datos.

• Reglas de escalado automático: puede aumentar o disminuir los nodos de tarea en función de las cargas de clúster en tiempo real. El escalado automático se activará con un cierto retraso cuando cambie el volumen de datos.
• Planes de recursos: Establezca la cantidad de nodo de tarea en función del intervalo de tiempo. Si el volumen de datos cambia periódicamente, puede crear planes de recursos para cambiar el tamaño del clúster antes de que cambie el volumen de datos, evitando así retrasos en el aumento o la disminución de recursos.

Puede configurar reglas de escalado automático o planes de recursos o ambos para activar el escalado automático. La configuración de planes de recursos y reglas de escalado automático mejora la escalabilidad del nodo del clúster para hacer frente a picos de volumen de datos ocasionalmente inesperados.

En algunos escenarios de servicio, los recursos deben reasignarse o la lógica de servicio debe modificarse después de escalar o reducir el clúster. Si se escala o reduce manualmente un clúster, puede iniciar sesión en los nodos del clúster para reasignar recursos o modificar la lógica del servicio. Si utiliza escalado automático, MRS le permite personalizar secuencias de comandos de automatización para la reasignación de recursos y la modificación de la lógica de servicio. Los scripts de automatización pueden ejecutarse antes y después del escalado automático y adaptarse automáticamente a los cambios de carga de servicio, todo lo cual elimina las operaciones manuales. Además, los scripts de automatización se pueden personalizar y ejecutar completamente en varios momentos, cumpliendo con sus requisitos personalizados y mejorando la flexibilidad de escalado automático.

• Reglas de escalado automático:
  • Puede establecer un máximo de cinco reglas para escalar hacia fuera o en un clúster, respectivamente.
  • El sistema determina el escalado horizontal y, a continuación, el escalado en función de la secuencia de configuración. Las políticas importantes tienen prioridad sobre otras políticas para evitar la activación repetida cuando el efecto esperado no se puede lograr después de una escalabilidad horizontal o vertical.
  • Los factores de comparación incluyen mayor que, mayor que o igual a, menor que, y menor que o igual a.
  • El escalado horizontal o el escalado horizontal del clúster solo se pueden activar después de que se alcance el umbral métrico configurado durante 5n consecutivos (el valor predeterminado de n es 1) minutos.
  • Después de cada escalado horizontal o vertical, hay una duración de enfriamiento que es mayor que 0 y dura 20 minutos de forma predeterminada.
  • En cada escalado horizontal o escalado vertical de clúster, se pueden añadir o reducir al menos un nodo y como máximo 100 nodos.
  • El número de nodos de tarea en un clúster se limita al número predeterminado de nodos configurados por los usuarios o al intervalo de cantidades de nodos en el plan de recursos que tiene efecto en el período de tiempo actual. El intervalo de cantidades de nodo en el plan de recursos que surte efecto en el período de tiempo actual tiene una prioridad más alta.
• Planes de recursos (definiendo el número de nodos Task por intervalo de tiempo):
  • Puede especificar un intervalo de nodos de Task (número mínimo a número máximo) en un intervalo de tiempo. Si el número de nodos de Task está más allá del rango de nodos de Task en un plan de recursos, el sistema activa la escalabilidad horizontal o vertical del clúster.
  • Puede establecer un máximo de cinco planes de recursos para un clúster.
  • Un ciclo de plan de recursos es por día. La hora de inicio y la hora de finalización se pueden establecer en cualquier punto de tiempo entre las 00:00 y las 23:59. La hora de inicio debe ser al menos 30 minutos antes que la hora de finalización. Los intervalos de tiempo configurados para diferentes planes de recursos no pueden superponerse.
  • Después de que un plan de recursos active la escalabilidad horizontal o vertical del clúster, hay una duración de enfriamiento de 10 minutos. El escalado automático no se activará de nuevo durante el tiempo de enfriamiento.
  • Cuando se habilita un plan de recursos, el número de nodos de Task del clúster se limita al intervalo de nodos predeterminado configurado por usted en otros períodos de tiempo, excepto el período de tiempo configurado en el plan de recursos.
• Scripts de automatización:
  • Puede establecer un script de automatización para que pueda ejecutarse automáticamente en los nodos del clúster cuando se active el escalado automático.
  • Puede establecer un número máximo de 10 scripts de automatización para un clúster.
  • Puede especificar un script de automatización que se ejecutará en uno o más tipos de nodos.
  • Los scripts de automatización se pueden ejecutar antes o después de escalar horizontalmente o verticalmente.
  • Antes de usar scripts de automatización, cárguelos en un sistema de archivos VM o OBS de clúster en la misma región que el clúster. Los scripts de automatización cargados en la máquina virtual del clúster solo se pueden ejecutar en los nodos existentes. Si desea hacer que los scripts de automatización se ejecuten en los nuevos nodos, súbalos al sistema de archivos OBS.