Escalamiento automático
Introducción a las funciones
Cada vez más empresas utilizan tecnologías como Spark y Hive para analizar datos. El procesamiento de una gran cantidad de datos consume enormes recursos y cuesta mucho. Por lo general, las empresas analizan regularmente los datos en un período de tiempo fijo todos los días en lugar de todo el día. Para cumplir con los requisitos de las empresas, MRS proporciona la función de escalado automático para solicitar recursos adicionales durante las horas pico y liberar recursos durante las horas fuera de pico. Esto permite a los usuarios utilizar los recursos bajo demanda y centrarse en el negocio principal a costos más bajos.
En aplicaciones de big data, especialmente en escenarios de análisis y procesamiento de datos periódicos, los recursos informáticos de clúster deben ajustarse dinámicamente en función de los cambios en los datos de servicio para cumplir con los requisitos de servicio. La función de escalado automático de MRS permite que los clústeres sean escalados elásticamente o en función de las cargas de clúster. Además, si el volumen de datos cambia regularmente y desea escalar o en un clúster antes de que cambie el volumen de datos, puede utilizar la función de plan de recursos de MRS.
MRS admite dos tipos de políticas de escalado automático: reglas de escalado automático y planes de recursos
- Reglas de escalado automático: puede aumentar o disminuir los nodos de tarea en función de las cargas de clúster en tiempo real. El escalado automático se activará cuando cambie el volumen de datos, pero puede haber algún retraso.
- Planes de recursos: si el volumen de datos cambia periódicamente, puede crear planes de recursos para cambiar el tamaño del clúster antes de que cambie el volumen de datos, evitando así un retraso en el aumento o la disminución de recursos.
Tanto las reglas de escalado automático como los planes de recursos pueden desencadenar escalado automático. Puede configurar ambos o configurar uno de ellos. La configuración de planes de recursos y reglas de escalado automático mejora la escalabilidad del nodo del clúster para hacer frente a picos de volumen de datos ocasionalmente inesperados.
En algunos escenarios de servicio, los recursos deben reasignarse o la lógica de servicio debe modificarse después de escalar o reducir el clúster. Si se escala o reduce manualmente un clúster, puede iniciar sesión en los nodos del clúster para reasignar recursos o modificar la lógica del servicio. Si utiliza escalado automático, MRS le permite personalizar secuencias de comandos de automatización para la reasignación de recursos y la modificación de la lógica de servicio. Los scripts de automatización pueden ejecutarse antes y después del escalado automático y adaptarse automáticamente a los cambios de carga de servicio, todo lo cual elimina las operaciones manuales. Además, los scripts de automatización se pueden personalizar completamente y ejecutar en varios momentos, lo que puede satisfacer sus requisitos personalizados y mejorar la flexibilidad de escalado automático.
Beneficios para el cliente
El escalado automático MRS proporciona los siguientes beneficios:
- Reducción de costes
Las empresas no analizan los datos todo el tiempo, sino que realizan un análisis de datos por lotes en un período de tiempo específico, por ejemplo, a las 03:00 a.m. El análisis por lotes puede tardar sólo dos horas.
La función de escalado automático permite a las empresas agregar nodos para el análisis por lotes y libera automáticamente los nodos después de completar el análisis, minimizando los costos.
- Cumplir los requisitos de consultas instantáneas
Las empresas suelen encontrarse con tareas de análisis instantáneo, por ejemplo, informes de datos para respaldar la toma de decisiones empresariales. Como resultado, el consumo de recursos aumenta bruscamente en un corto período de tiempo. Con la función de escalado automático, se pueden agregar nodos de cómputo para el análisis emergente de big data, evitando una avería del servicio debido a recursos de cómputo insuficientes. De esta manera, no es necesario comprar recursos adicionales. Después de que termine la emergencia, MRS libera automáticamente los nodos.
- Centrarse en el negocio principal
Es difícil para los desarrolladores determinar el consumo de recursos en la plataforma de desarrollo secundario de big data debido a las complejas condiciones de análisis de consultas (como la clasificación global, el filtrado y la fusión) y la complejidad de los datos, por ejemplo, la incertidumbre de los datos incrementales. Como resultado, estimar el volumen de cálculo es difícil. La función de escalado automático de MRS permite a los desarrolladores centrarse en el desarrollo de servicios sin necesidad de estimación de recursos.
