Multitenant
Introducción a las funciones
Los clústeres de datos de las empresas modernas se están desarrollando hacia la centralización y la cloudificación. Los clústeres de big data de clase empresarial deben cumplir los siguientes requisitos:
- Llevar datos de diferentes tipos y formatos y ejecutar trabajos y aplicaciones de diferentes tipos (análisis, consultas y procesamiento de secuencias).
- Aislar los datos de un usuario de los de otro usuario que tiene requisitos exigentes en materia de seguridad de datos, como un banco o un instituto gubernamental.
Los requisitos anteriores traen los siguientes desafíos para el clúster de big data:
- Asignación y programación adecuadas de recursos para garantizar un funcionamiento estable de aplicaciones y trabajos
- Control de acceso estricto para garantizar la seguridad de los datos y el servicio
Multitenant aísla los recursos de un clúster de big data en conjuntos de recursos. Los usuarios pueden arrendar los conjuntos de recursos deseados para ejecutar aplicaciones y trabajos y almacenar datos. En un clúster de big data, se pueden implementar varios conjuntos de recursos para satisfacer diversos requisitos de varios usuarios.
El clúster de big data de MRS proporciona una solución completa de big data de multitenant de clase empresarial. Multitenant es una colección de múltiples recursos (cada conjunto de recursos es un tenant) en un clúster de big data de MRS. Puede asignar y programar recursos, incluidos los recursos informáticos y de almacenamiento.
Ventajas
- Configuración y aislamiento de recursos adecuados
Los recursos de un tenant están aislados de los de otro tenant. El uso de recursos de un tenant no afecta a otros tenants. Este mecanismo garantiza que cada tenant pueda configurar los recursos en función de los requisitos de servicio, lo que mejora la utilización de los recursos.
- Medición y estadísticas del consumo de recursos
Los tenants son solicitantes de recursos del sistema y consumidores. Los recursos del sistema se planifican y asignan en función de los tenants. El consumo de recursos por parte de los tenants se puede medir y registrar.
- Seguridad de datos y seguridad de acceso garantizada
En escenarios de multitenant, los datos de cada inquilino se almacenan por separado para garantizar la seguridad de los datos. El acceso a los recursos de tenants se controla para garantizar la seguridad del acceso.
Programadores mejorados
Los planificadores se dividen en el programador de capacidad de código abierto y el programador Superior propietario de Huawei.
Para cumplir con los requisitos de la empresa y hacer frente a los desafíos que enfrenta la comunidad Yarn en la programación, Huawei desarrolla el programador Superior. Además de heredar las ventajas del programador de Capacity y del programador de Fair, este programador se mejora en los siguientes aspectos:
- Política mejorada de uso compartido de recursos
El programador Superior admite la jerarquía de colas. Integra las funciones de programadores de código abierto y comparte recursos basados en políticas configurables. En términos de instancias, los administradores del clúster de MRS pueden usar el programador Superior para configurar un valor absoluto o una política de porcentaje para los recursos de cola. La política de uso compartido de recursos del programador Superior mejora la política de programación de etiquetas de Yarn como una característica de fondo de recursos. Los nodos del clúster de Yarn se pueden agrupar en función de la capacidad o el tipo de servicio para garantizar que las colas puedan utilizar los recursos de manera más eficiente.
- Política de reserva de recursos basada en tenant
Los recursos requeridos por los inquilinos deben estar asegurados para ejecutar tareas críticas. El programador Superior construye un mecanismo para soportar la política de reserva de recursos. Al hacerlo, los recursos reservados se pueden asignar a las tareas ejecutadas por las colas de inquilinos de una manera oportuna para garantizar la correcta ejecución de la tarea.
- Compartición justa entre tenants y usuarios de grupo de recurso
El programador Superior permite configurar recursos compartidos para los usuarios en una cola. Cada tenant puede tener usuarios con diferentes ponderaciones. Los usuarios muy ponderados pueden requerir más recursos compartidos.
- Rendimiento de programación garantizado en un gran clúster
El programador Superior recibe los latidos de cada NodeManager y guarda la información de recursos en la memoria, lo que permite al programador controlar el uso de recursos del clúster globalmente. El planificador Superior utiliza el modelo de programación push, lo que hace que la programación sea más precisa y eficiente y mejora notablemente la utilización de los recursos del clúster. Además, el programador Superior ofrece un excelente rendimiento cuando el intervalo entre los latidos NodeManager es largo y evita las tormentas de latidos en grupos grandes.
- Política de prioridad
Si no se puede cumplir el requisito mínimo de recursos de un servicio después de que el servicio obtenga todos los recursos disponibles, se produce una preferencia. La función de preferencia está deshabilitada por defecto.
