Multi-locatário
Introdução de recursos
Os clusters de dados das empresas modernas estão se desenvolvendo em direção à centralização e à cloudificação. Os clusters de Big Data de classe empresarial devem atender aos seguintes requisitos:
- Transportar dados de diferentes tipos e formatos e executar jobs e aplicações de diferentes tipos (análise, consulta e processamento de fluxo).
- Isolar os dados de um usuário daqueles de outro usuário que tenha requisitos exigentes de segurança de dados, como um banco ou instituto governamental.
Os requisitos anteriores trazem os seguintes desafios para o cluster de Big Data:
- Alocação adequada e programação de recursos para garantir o funcionamento estável de aplicações e jobs
- Controle de acesso rigoroso para garantir a segurança de dados e serviços
O multi-locatário isola os recursos de um cluster de Big Data em conjuntos de recursos. Os usuários podem alugar conjuntos de recursos desejados para executar aplicações e jobs e armazenar dados. Em um cluster de Big Data, vários conjuntos de recursos podem ser implementados para atender a diversos requisitos de vários usuários.
O cluster de Big Data do MRS fornece uma solução multi-locatário de Big Data de classe empresarial completa. Multi-locatário é uma coleção de vários recursos (cada conjunto de recursos é um locatário) em um cluster de Big Data do MRS. Ele pode alocar e agendar recursos, incluindo recursos de computação e armazenamento.
Vantagens
- Configuração e isolamento adequados dos recursos
Os recursos de um locatário são isolados dos de outro locatário. O uso de recursos de um locatário não afeta outros locatários. Esse mecanismo garante que cada locatário possa configurar recursos com base nos requisitos de serviço, melhorando a utilização de recursos.
- Medição e estatísticas do consumo de recursos
Os locatários são candidatos a recursos do sistema e consumidores. Os recursos do sistema são planejados e alocados com base nos locatários. O consumo de recursos pelos inquilinos pode ser medido e registrado.
- Garantida segurança de dados e segurança de acesso
Em cenários de vários locatários, os dados de cada locatário são armazenados separadamente para garantir a segurança dos dados. O acesso aos recursos dos locatários é controlado para garantir a segurança do acesso.
Agendadores aprimorados
Os agendadores são divididos no Capacity scheduler de código aberto e no Superior scheduler de propriedade da Huawei .
Para atender aos requisitos da empresa e enfrentar os desafios enfrentados pela comunidade Yarn em programação, Huawei desenvolve o Superior scheduler. Além de herdar as vantagens do Capacity scheduler e do Fair scheduler, esse agendador é aprimorado nos seguintes aspectos:
- Política de compartilhamento de recursos aprimorada
O Superior scheduler suporta hierarquia de filas. Ele integra as funções de agendadores de código aberto e compartilha recursos com base em políticas configuráveis. Em termos de instâncias, os administradores de cluster do MRS podem usar o Superior scheduler para configurar um valor absoluto ou uma política de porcentagem para recursos de fila. A política de compartilhamento de recursos do Superior scheduler aprimora a política de agendamento de rótulos do Yarn como um recurso de pool de recursos. Os nós no cluster do Yarn podem ser agrupados com base na capacidade ou no tipo de serviço para garantir que as filas possam utilizar os recursos com mais eficiência.
- Política de reserva de recursos baseada em locatários
Os recursos exigidos pelos locatários devem ser assegurados para a execução de tarefas críticas. O Superior scheduler constrói um mecanismo para apoiar a política de reserva de recursos. Ao fazer isso, os recursos reservados podem ser alocados para as tarefas executadas pelas filas de locatários em tempo hábil para garantir a execução adequada da tarefa.
- Partilha justa entre locatários e usuários do pool de recursos
O Agendador Superior permite que recursos compartilhados sejam configurados para usuários em uma fila. Cada locatário pode ter usuários com pesos diferentes. Usuários altamente ponderados podem precisar de mais recursos compartilhados.
- Desempenho de agendamento garantido em um grande cluster
O Superior scheduler recebe pulsações de cada NodeManager e salva informações de recursos na memória, o que permite controlar o uso de recursos do cluster globalmente. O Superior scheduler usa o modelo de agendamento push, o que torna o agendamento mais preciso e eficiente e melhora notavelmente a utilização de recursos do cluster. Além disso, o Superior scheduler oferece excelente desempenho quando o intervalo entre batimentos cardíacos do NodeManager é longo e evita tempestades de batimentos cardíacos em grandes clusters.
- Política de prioridade
Se o requisito de recurso mínimo de um serviço não puder ser atendido após o serviço obter todos os recursos disponíveis, ocorrerá uma preempção. A função de preempção está desativada por padrão.
