Vantagens do MRS em comparação ao Hadoop autoconstruído

MRS fornece clusters de Big Data na nuvem para empresas. Os locatários podem controlar totalmente os clusters e executar componentes de Big Data como Hadoop, Spark, HBase, Kafka e Storm com facilidade. O MRS libera você da compra e manutenção de hardware. MRS é desenvolvido com base na plataforma FusionInsight de Big Data de classe empresarial da Huawei e foi implementado em dezenas de milhares de nós do setor, fornecendo garantia multinível de SLA com suporte profissional aos serviços de kernel de Hadoop. Quando comparado aos clusters de Hadoop desenvolvidos internamente, MRS tem as seguintes vantagens:

1. MRS oferece suporte a criação, exclusão e dimensionamento de cluster com um clique. Você pode utilizar um endereço IP elástico (EIP) para acessar o MRS Manager, facilitando o uso de clusters de Big Data.
   • Clusters de Big Data auto-construídos apresentam problemas como altos custos, longos períodos, O&M difíceis e inflexíveis. Para resolver esses problemas, o MRS fornece criação, exclusão, dimensionamento e dimensionamento de cluster com um clique, permitindo que você personalize o tipo de cluster, o intervalo de componentes, o número de nós de cada tipo, as especificações da VM, as zonas de disponibilidade (AZs), a rede da VPC e informações de autenticação. O MRS pode criar automaticamente um cluster que atenda aos requisitos de configuração. Além disso, você pode criar rapidamente clusters de vários aplicativos, por exemplo, cluster de análise de Hadoop, cluster de HBase e cluster de Kafka. O MRS oferece suporte à implementação de cluster heterogêneo. Ou seja, VMs de especificações diferentes podem ser combinadas em um cluster com base em tipos de CPU, capacidades de disco, tipos de disco e tamanhos de memória.
   • O MRS fornece um canal seguro baseado em EIP para você acessar facilmente as IUs da Web dos componentes. Isso é mais conveniente do que vincular um EIP por conta própria, e você pode acessar as IUs da Web com alguns cliques, evitando as etapas de logon em uma VPC, adicionando regras de grupo de segurança e obtendo um endereço IP público.
   • O MRS fornece ações de inicialização personalizadas para configurar de forma flexível seus clusters dedicados. O software de terceiros que não é suportado pelo MRS pode ser instalado automaticamente, permitindo que você execute operações personalizadas, como modificar o ambiente em execução do cluster.
   • O MRS suporta o recurso WrapperFS, fornece o recurso de tradução do OBS (ou seja, acesso ao OBS por meio do mapeamento de endereços) e pode migrar dados sem problemas do HDFS para o OBS. Após a migração, você pode acessar os dados armazenados no OBS de clientes sem modificar a lógica do código de serviço.
2. MRS possibilita o dimensionamento automático, que é mais econômico do que o cluster de Hadoop autoconstruído.

   O MRS suporta o escalonamento automático para endereçar cargas de serviço de pico e fora de pico. Ele se aplica a recursos extras durante as horas de pico e libera recursos ociosos durante as horas de pico, ajudando você a economizar recursos ociosos na plataforma de Big Data durante as horas de pico, minimizar custos e se concentrar nos serviços principais.

   Em aplicações de Big Data, especialmente em análise e processamento periódicos de dados, os recursos de computação de cluster precisam ser ajustados dinamicamente com base nas alterações de dados de serviço para atender aos requisitos de serviço. A função de escalonamento automático do MRS permite que os clusters sejam escalonados elasticamente ou in com base nas cargas do cluster. Além disso, se o volume de dados mudar regularmente e você quiser escalar para fora ou em um cluster antes das alterações de volume de dados, você pode usar o recurso de plano de recursos do MRS. O MRS suporta dois tipos de políticas de escalonamento automático: regras de escalonamento automático e planos de recursos

   • Regras de dimensionamento automático: você pode aumentar ou diminuir os nós de Tarefa com base nas cargas de cluster em tempo real. O dimensionamento automático será acionado quando o volume de dados mudar, mas pode haver algum atraso.
   • Planos de recursos: se o volume de dados mudar periodicamente, você poderá criar planos de recursos para redimensionar o cluster antes que o volume de dados seja alterado, evitando assim um atraso no aumento ou diminuição de recursos.

   Tanto as regras de dimensionamento automático quanto os planos de recursos podem acionar o dimensionamento automático. Você pode configurar ambos ou configurar um deles. A configuração de planos de recursos e regras de dimensionamento automático melhora a escalabilidade do nó do cluster para lidar com picos de volume de dados ocasionalmente inesperados.

3. MRS possibilita o desacoplamento entre armazenamento e computação, melhorando muito a utilização de recursos de clusters de Big Data.

   Na arquitetura tradicional de Big Data, onde os recursos de armazenamento e computação são integrados, a expansão é difícil e os recursos não são bem utilizados. Para resolver esses problemas, o MRS adota uma arquitetura de separação de armazenamento de computação. Com base no OBS, o armazenamento atinge 99,999999999% de confiabilidade e capacidade ilimitada, suportando o crescimento contínuo de dados corporativos. Os recursos de computação podem ser dimensionados elasticamente dentro ou fora de 0 a N nós. Centenas de nós podem ser provisionados rapidamente. Com a nova arquitetura, os nós de computação podem ser escalonados elasticamente. O armazenamento de dados entre AZs baseado em OBS garante maior confiabilidade, livra você de se preocupar com emergências, como terremotos e cortes de fibra. Os recursos de armazenamento e computação podem ser configurados de forma flexível e dimensionados de forma elástica, conforme necessário. Isso torna a alocação de recursos mais precisa e razoável, melhorando significativamente a utilização de recursos de clusters de Big Data e reduzindo o custo de análise abrangente em 50%.

   Além disso, a arquitetura de separação de computação-armazenamento de alto desempenho rompe o limite da computação paralela da arquitetura de armazenamento-computação integrada. Ele maximiza a alta largura de banda e a alta simultaneidade do OBS e otimiza a eficiência de acesso a dados e a computação paralela aprofundada (como operação de metadados e otimização de algoritmo de gravação) para melhorar o desempenho.

4. MRS oferece suporte ao CarbonData e ao Superior Scheduler desenvolvidos pela Huawei, proporcionando um melhor desempenho.
   • O MRS oferece suporte à tecnologia de armazenamento CarbonData desenvolvida por você mesmo. O CarbonData é uma solução de armazenamento de Big Data de alto desempenho. Ele permite que um conjunto de dados seja aplicado a vários cenários e oferece suporte a recursos como indexação de vários níveis, codificação de dicionário, pré-agregação, particionamento dinâmico e consulta de dados em tempo quase real. Isso melhora a digitalização de I/O e o desempenho de computação e retorna resultados de análise de dezenas de bilhões de registros de dados em segundos.
   • Além disso, o MRS oferece suporte ao Superior Scheduler autodesenvolvido, que aumenta a capacidade de escala de um único cluster e é capaz de agendar maid de 10.000 nós em um cluster. O Superior Scheduler é um mecanismo de agendamento projetado para o sistema de gerenciamento de recursos distribuídos de Hadoop YARN. É um programador de alto desempenho e de nível empresarial projetado para pools de recursos convergentes e requisitos de serviço multi locatário. O Superior Scheduler atinge todas as funções dos agendadores de código aberto, do Fair Scheduler e do Capacity Scheduler. Em comparação com os programadores de código aberto, o Superior Scheduler é aprimorado na política de agendamento de recursos multi locatário da empresa, isolamento e compartilhamento de recursos por vários usuários em um locatário, desempenho de agendamento, utilização de recursos do sistema e escalabilidade de cluster, e foi projetado para substituir os programadores de código aberto.
5. MRS otimiza software e hardware baseados em processadores Kunpeng para liberar totalmente a capacidade computacional do hardware e alcançar o custo-benefício necessário.

   O MRS suporta servidores Kunpeng autodesenvolvidos, cujos recursos multi-núcleo e de alta concorrência são totalmente utilizados para fornecer chips auto-otimizados de pilha completa e usa EulerOS, Huawei JDK e camada de aceleração de dados para garantir o desempenho do hardware, proporcionando alto poder de computação para computação de Big Data. Com o desempenho semelhante, o custo da solução de Big Data de ponta a ponta é reduzido em 30%.

6. MRS suporta diversos modos de isolamento e gerenciamento de permissão de múltiplos locatários de Big Data empresarial, garantindo maior segurança.
   • O MRS suporta a implantação de recursos e o isolamento de recursos físicos em zonas dedicadas. Você pode combinar recursos de computação e armazenamento de forma flexível, como recursos de computação dedicados + recursos de armazenamento compartilhado, recursos de computação compartilhados + recursos de armazenamento dedicados e recursos de computação dedicados + recursos de armazenamento dedicados. Um cluster de MRS suporta vários locatários lógicos. O isolamento de permissões permite que os recursos de computação, armazenamento e tabela do cluster sejam divididos com base nos locatários.
   • Com a autenticação Kerberos, o MRS fornece controle de acesso baseado em função (RBAC) e funções de auditoria de som.
   • Com o Cloud Trace Service (CTS) sendo interconectado com o MRS, você recebe registros de operação de solicitações de operação de recursos do MRS e resultados de solicitações para consulta, auditoria e rastreamento inverso. Você pode usar o CTS para auditar e rastrear todas as operações de cluster.
   • Está provado que, com o Host Security Service (HSS) interconectado com o MRS, a segurança do serviço é aprimorada sem deteriorar as funções e o desempenho.
   • O MRS oferece suporte ao fazer logon de usuário unificado com base na interface do usuário da Web. O Manager fornece autenticação de usuário, que lhe concede permissão para acessar um cluster.
   • O MRS suporta criptografia de armazenamento de dados, armazenamento criptografado de todas as contas de usuário e senhas, transmissão criptografada de canais de dados e autenticação de certificado bidirecional para acesso a dados entre zonas confiáveis de módulos de serviço.
   • Os clusters de Big Data do MRS fornecem uma solução multi locatário completa para Big Data de nível empresarial. Multi-locatário refere-se a uma coleção de vários recursos (cada conjunto de recursos é um locatário) em um cluster de Big Data do MRS. Ele pode alocar e agendar recursos, incluindo recursos de computação e armazenamento. Multi-locatário isola os recursos de um cluster de Big Data em conjuntos de recursos. Os usuários podem alugar conjuntos de recursos desejados para executar aplicações e jobs e armazenar dados. Em um cluster de Big Data, vários conjuntos de recursos podem ser implementados para atender a diversos requisitos de vários usuários.
   • O MRS oferece suporte ao gerenciamento de permissões refinado. Com o recurso de autorização refinado fornecido pelo IAM da HUAWEI CLOUD, o MRS pode especificar as operações, os recursos e as condições de solicitação de serviços específicos. Esse mecanismo permite uma autorização baseada em políticas mais flexível, atendendo aos requisitos de controle de acesso seguro. Por exemplo, você pode conceder aos usuários do MRS somente as permissões para executar operações especificadas em clusters do MRS, como criar um cluster e consultar uma lista de clusters em vez de excluir um cluster. Além disso, o MRS suporta o gerenciamento de permissões refinado do OBS para vários locatários. As permissões para acessar buckets e objetos do OBS nos buckets são diferenciadas com base nas funções do usuário, para que os usuários do MRS possam controlar um diretório diferente nos buckets do OBS.
   • O MRS suporta o gerenciamento de projetos empresariais. O projeto empresarial é uma maneira de gerenciar os recursos da nuvem. O Enterprise Management fornece serviços de gerenciamento abrangentes para clientes empresariais, como recursos de nuvem, pessoal, permissões e status financeiro. Os consoles de gerenciamento comuns são orientados para o controle e a configuração de produtos individuais de nuvem. O console do Enterprise Management, em contraste, é mais focado no gerenciamento de recursos. Ele é projetado para ajudar as empresas a gerenciar recursos, pessoal, permissões e finanças baseados em nuvem, de maneira hierárquica, como gerenciamento de empresas, departamentos e projetos. O MRS permite que os usuários que ativaram o Enterprise Project Management Service (EPS) para configurar projetos empresariais para um cluster durante a criação do cluster e usem o EPS para gerenciar recursos do MRS por grupo. Esse recurso é aplicável a cenários em que você precisa gerenciar vários recursos por grupo e executar operações como controle de permissão e consulta de taxa baseada em projeto em projetos corporativos.
7. MRS implementa a alta disponibilidade para todos os nós de gerenciamento e oferece suporte a um mecanismo de confiabilidade abrangente, tornando o sistema mais confiável.

   Baseado no software de código aberto Apache Hadoop, o MRS otimiza e melhora a confiabilidade dos principais componentes do serviço.

   • HA para todos os nós de gerenciamento

     Na versão de código aberto do Hadoop, os dados e os nós de computação são gerenciados em um sistema distribuído, no qual um único ponto de falha (SPOF) não afeta a operação de todo o sistema. No entanto, um SPOF pode ocorrer em nós de gerenciamento em execução no modo centralizado, o que se torna o ponto fraco da confiabilidade geral do sistema.

     O MRS fornece mecanismos de nó duplo semelhantes para todos os nós de gerenciamento dos componentes do serviço, como Manager, Presto, HDFS NameNodes, Hive Servers, HBase HMasters, YARN Resource Managers, Kerberos Servers e Ldap Servers. Todos eles são implementados em modo ativo/em espera ou configurados com compartilhamento de carga, impedindo efetivamente que SPOFs afetem a confiabilidade do sistema.

   • Mecanismo de confiabilidade abrangente

     Por análise de confiabilidade, as seguintes medidas para lidar com exceções de software e hardware são fornecidas para melhorar a confiabilidade do sistema:

     • Depois que a fonte de alimentação é restaurada, os serviços funcionam adequadamente, independentemente de uma falha de energia de um único nó ou de todo o cluster, garantindo a confiabilidade dos dados em caso de falhas de energia inesperadas. Os dados principais não serão perdidos a menos que o disco rígido esteja danificado.
     • As verificações de estado de integridade e o tratamento de falhas do disco rígido não afetam os serviços.
     • As falhas do sistema de arquivos podem ser tratadas automaticamente e os serviços afetados podem ser restaurados automaticamente.
     • As falhas de processo e nó podem ser tratadas automaticamente e os serviços afetados podem ser restaurados automaticamente.
     • As falhas de rede podem ser tratadas automaticamente e os serviços afetados podem ser restaurados automaticamente.
8. MRS fornece uma interface de gerenciamento de cluster de Big Data visualizada de maneira unificada, facilitando o O&M.
   • Na interface de gerenciamento do cluster de Big Data, a inicialização e a interrupção do serviço, a modificação da configuração e a verificação de integridade estão disponíveis. O MRS também fornece funções de gerenciamento, monitoramento e alarme de cluster visualizados e convenientes. Além disso, você pode verificar e auditar o status de integridade do sistema em um clique, garantindo a execução normal do sistema e reduzindo os custos de O&M do sistema.
   • Depois que a Simple Message Notification (SMN) é configurada, o MRS pode enviar informações de status de integridade do cluster em tempo real, incluindo alterações de cluster e alarmes de componentes em tempo real para você por meio de mensagens SMS ou e-mails, facilitando O&M, monitoramento em tempo real e envio de alarmes em tempo real.
   • O MRS oferece suporte à atualização contínua de patches e fornece informações visualizadas sobre a liberação de patches e a instalação de patches com um clique sem intervenção manual, garantindo a estabilidade a longo prazo dos clusters de usuários.
   • Se ocorrer um problema quando você usar um cluster de MRS, poderá iniciar a autorização de O&M no console de gerenciamento de MRS. A equipe de O&M pode ajudá-lo a localizar rapidamente o problema e você pode revogar a autorização a qualquer momento. Você também pode iniciar o compartilhamento de logs no console de gerenciamento do MRS para compartilhar um escopo de log especificado com a equipe de O&M, de modo que a equipe de O&M possa localizar falhas sem acessar o cluster.
   • O MRS suporta o despejo de logs sobre falhas de criação de cluster para o OBS para que o pessoal de O&M obtenha e analise os logs.
9. MRS tem um ecossistema aberto e possibilita a interconexão sem falhas com serviços periféricos, permitindo que você construa rapidamente uma plataforma unificada de Big Data.
   • Com base no MRS, um serviço de Big Data de pilha completa, as empresas podem criar uma plataforma unificada de Big Data para ingestão, armazenamento, análise e mineração de valor com um clique e interconectar-se com o DataArts Studio e os serviços de visualização de dados para ajudar os clientes a migrar facilmente dados para a nuvem, desenvolver e programar jobs de Big Data e exibir dados. Isso libera os clientes da construção complexa de plataformas de Big Data e da calibração e manutenção profissionais de Big Data, para que os clientes possam se manter mais focados em aplicações do setor e usar uma cópia de dados em vários cenários de serviços. O DataArts é uma plataforma de operações de desenvolvimento de ciclo de vida de dados que fornece uma ampla gama de funções, como integração de dados, desenvolvimento, governança, serviço e visualização. Os dados do DataArts podem ser ingeridos no Estúdio DataArts para desenvolvimento colaborativo visualizado com um clique, aproveitando a GUI visualizada do DataArts Studio, tipos de desenvolvimento de dados abundantes (script e job), agendamento de job totalmente hospedado e monitoramento de O&M. e pipelines de processamento de dados da indústria embutidos. Isso torna o Big Data muito mais fácil de usar, ajuda você a construir rapidamente centros de processamento de Big Data e permite a monetização rápida.
   • O MRS é totalmente compatível com o ecossistema de Big Data de código aberto. Com abundantes ferramentas de migração de dados e aplicações, o MRS ajuda você a migrar rapidamente dados de suas próprias plataformas sem modificação de código e interrupção de serviço.