Gestión del ciclo de vida de clústeres
MRS admite la gestión del ciclo de vida de clúster, incluida la creación y terminación de clústeres.
- Creación de un clúster: Después de especificar un tipo de clúster, componentes, número de nodos de cada tipo, especificaciones de VM, zona de disponibilidad, VPC e información de autenticación, MRS crea automáticamente un clúster que cumple con los requisitos de configuración. Puede ejecutar scripts personalizados en el clúster. Además, puede crear clústeres de diferentes tipos para múltiples escenarios de aplicaciones, como clústeres de análisis de Hadoop, clústeres de HBase y clústeres de Kafka. La plataforma de big data admite la implementación de clústeres heterogéneos. Es decir, las máquinas virtuales de diferentes especificaciones se pueden combinar en un clúster basado en los tipos de CPU, las capacidades de disco, los tipos de disco y los tamaños de memoria. Se pueden mezclar varias especificaciones de VM en un clúster.
- Terminación de un clúster: puede terminar un clúster de pago por uso que ya no sea necesario (incluidos los datos y las configuraciones del clúster). MRS eliminará todos los recursos relacionados con el clúster.
- Renovación: MRS ofrece dos modos de facturación: pago por uso y anual/mensual. En el modo de pago por uso, las tarifas se deducen cada hora y un saldo insuficiente puede conducir a pagos atrasados. En modo anual/mensual, los clústeres deben renovarse antes de que caduquen. Si su suscripción para el clúster de pago por uso o anual/mensual no se renueva, sus servicios seguirán ejecutándose, pero entrarán en un período de retención, durante el cual los clústeres MRS dejarán de ejecutarse pero se conservarán los datos.
- Cancelación de suscripción: si ha adquirido un clúster anual/mensual y no necesita los recursos del clúster antes de que caduquen los recursos del clúster, puede cancelar la suscripción a los recursos del clúster en MRS.
Compra de un clúster
En la consola de gestión de MRS, puede comprar un clúster MRS de pago por uso o anual/mensual. Puede seleccionar una región y especificaciones de recursos en la nube para comprar un clúster MRS que sea adecuado para servicios empresariales con un solo clic. MRS instala e implementa automáticamente la plataforma de big data de nivel empresarial de Huawei Cloud y optimiza los parámetros en función del tipo de clúster, la versión y las especificaciones de nodo seleccionados.
MRS le proporciona clústeres de big data totalmente gestionados. Al crear un clúster, puede establecer un modo de inicio de sesión de VM (contraseña o par de claves). Puede utilizar todos los recursos del clúster MRS creado. Además, MRS le permite implementar un clúster de big data en solo dos ECS con 4 vCPU y 8 GB de memoria, lo que proporciona opciones más flexibles para pruebas y desarrollo.
Los grupos MRS se clasifican en clústeres de análisis, streaming e híbridos.
- Clúster de análisis: Se utiliza para el análisis de datos fuera de línea y proporciona componentes de Hadoop.
- Clúster de streaming: Se utiliza para tareas de streaming y proporciona componentes de procesamiento de flujos.
- Clúster híbrido: se utiliza no solo para el análisis de datos sin conexión, sino también para el procesamiento de streaming, y proporciona componentes de Hadoop y componentes de procesamiento de streaming.
- Personalizado: puede combinar de forma flexible los componentes necesarios (MRS 3.x y versiones posteriores) según los requisitos de servicio.
Los nodos de clúster de MRS se clasifican en nodos de Master, Core, y Task.
- Nodo de Master: nodo de gestión en un clúster. Los procesos de Master de un sistema distribuido, Manager y bases de datos se despliega en los nodos de Master. Los nodos principales no pueden escalarse horizontalmente. La capacidad de procesamiento de los nodos principales determina el límite superior de la capacidad de gestión de todo el clúster. El MRS admite el escalamiento vertical de las especificaciones del nodo principal para proporcionar soporte para la gestión de un clúster más grande.
- Nodo de Core: se utiliza tanto para almacenamiento como para computación y se puede escalar horizontal o verticalmente. Dado que los nodos de Core soportan almacenamiento de datos, hay muchas restricciones sobre el escalado para evitar la pérdida de datos y no se puede realizar el escalado automático.
- Nodo de tarea: se utiliza solo para computación y se puede escalar horizontal y verticalmente. Los nodos de Task solo admiten tareas de cómputo. Por lo tanto, se puede realizar el escalamiento automático.
Puede comprar un clúster en dos modos: compra personalizada y compra rápida.
- Compra personalizada: en la página Custom Config, puede configurar de forma flexible los parámetros del clúster en función de los escenarios de la aplicación, como el modo de facturación y las especificaciones de ECS para adaptarse mejor a sus requisitos de servicio.
- Compra rápida: En la página Quick Config, puede comprar rápidamente un clúster basado en escenarios de aplicación, lo que mejora la eficiencia de la configuración del clúster. Actualmente, los clústeres de análisis Hadoop, los clústeres HBase y los clústeres Kafka están disponibles para su compra rápida.
- Clúster de análisis de Hadoop: utiliza componentes en el ecosistema de Hadoop de código abierto para analizar y consultar grandes cantidades de datos. Por ejemplo, utilice Yarn para gestionar los recursos de clústeres; Hive y Spark para proporcionar almacenamiento fuera de línea y opciones de procesamiento de datos distribuidos a gran escala; Spark Streaming y Flink para ofrecer cómputo de datos de transmisiones; Presto para permitir consultas interactivas y Tez para proporcionar un marco de cómputo distribuido de grafos acíclicos dirigidos (DAG).
- Clúster HBase: utiliza los componentes Hadoop y HBase para proporcionar un sistema de almacenamiento en la nube distribuido orientado a columnas que ofrece confiabilidad mejorada, rendimiento excelente y escalabilidad elástica. Es aplicable al almacenamiento y al cómputo distribuido de cantidades masivas de datos. HBase puede utilizarse para construir un sistema de almacenamiento capaz de almacenar datos a nivel de TB o incluso de PB. Con HBase, puede filtrar y analizar datos con facilidad, y obtener respuestas en milisegundos, así como extraer valor de los datos rápidamente.
- Clúster de Kafka: utiliza Kafka y Storm para proporcionar un sistema de mensajes de código abierto con alto rendimiento y escalabilidad. Se utiliza ampliamente para recopilar registros y agregar datos de monitoreo con el fin de recabar datos de transmisión de forma eficiente, así como para el procesamiento y el almacenamiento de datos en tiempo real.
Terminación de un clúster
MRS le permite terminar un clúster cuando ya no es necesario. Una vez finalizado el clúster, se liberarán todos los recursos de nube utilizados por el clúster. Antes de terminar un clúster, se recomienda migrar o realizar copias de respaldo de los datos. Terminar el clúster solo cuando no se está ejecutando ningún servicio en el clúster o si el clúster es anormal y no puede proporcionar servicios basados en el análisis de O&M. Si los datos se almacenan en discos EVS o discos de paso a través en un clúster de big data, los datos se eliminarán una vez finalizado el clúster. Por lo tanto, tenga cuidado al terminar un clúster.
