Gerenciamento do ciclo de vida do cluster
O MRS oferece suporte ao gerenciamento do ciclo de vida do cluster, incluindo a criação e o encerramento de clusters.
- Criar um cluster: depois de especificar um tipo de cluster, componentes, número de nós de cada tipo, especificações de VM, AZ, VPC e informações de autenticação, o MRS cria automaticamente um cluster que atende aos requisitos de configuração. Você pode executar scripts personalizados no cluster. Além disso, você pode criar clusters de tipos diferentes para vários cenários de aplicações, como clusters de análise do Hadoop, clusters do HBase e clusters do Kafka. A plataforma de Big Data suporta implantação de cluster heterogêneo. Ou seja, VMs de especificações diferentes podem ser combinadas em um cluster com base em tipos de CPU, capacidades de disco, tipos de disco e tamanhos de memória. Várias especificações de VM podem ser misturadas em um cluster.
- Finalizar um cluster: você pode encerrar um cluster de pagamento por uso que não seja mais necessário (incluindo dados e configurações no cluster). O MRS excluirá todos os recursos relacionados ao cluster.
- Renovação: o MRS oferece dois modos de cobrança: pagamento por uso e anual/mensal. No modo de pagamento por uso, as taxas são deduzidas a cada hora e o saldo insuficiente pode levar a pagamentos em atraso. No modo anual/mensal, os clusters precisam ser renovados antes de expirarem. Se sua assinatura para o cluster de pagamento por uso ou anual/mensal não for renovada, seus serviços continuarão em execução, mas entrarão em um período de retenção, durante o qual os clusters de MRS deixarão de ser executados, mas os dados serão retidos.
- Cancelamento de assinatura: se você tiver comprado um cluster anual/mensal e não precisar dos recursos de cluster antes que os recursos de cluster expirem, poderá cancelar a assinatura dos recursos de cluster no MRS.
Comprar um cluster
No console de gerenciamento do MRS, você pode comprar um cluster do MRS em uma base de pagamento por uso ou anual/mensal. Você pode selecionar uma região e especificações de recursos de nuvem para comprar um cluster de MRS adequado para serviços corporativos com um clique. O MRS instala e implementa automaticamente a plataforma de Big Data em nível empresarial da Huawei Cloud e otimiza os parâmetros com base no tipo e versão de cluster e nas especificações de nó selecionadas.
O MRS fornece clusters de Big Data totalmente gerenciados. Ao criar um cluster, você pode definir um modo de logon da VM (senha ou par de chaves). Você pode usar todos os recursos do cluster do MRS criado. Além disso, o MRS permite implantar um cluster de Big Data em apenas dois ECSs com 4 vCPUs e 8 GB de memória, fornecendo opções mais flexíveis para testes e desenvolvimento.
Os clusters de MRS são classificados em clusters de análise, streaming e híbridos.
- Cluster de análise: usado para análise de dados off-line e fornece componentes Hadoop.
- Cluster de streaming: é usado para tarefas de streaming e fornece componentes de processamento de fluxo.
- Cluster híbrido: utilizado não apenas para a análise de dados offline, mas também para o processamento de streaming, e fornece componentes do Hadoop e componentes de processamento de streaming.
- Personalizado: você pode combinar de forma flexível os componentes necessários (MRS 3.x e versões posteriores) com base nos requisitos de serviço.
Os nós do cluster do MRS são classificados em nós principal, central e de tarefa.
- Nó principal: nó de gerenciamento em um cluster. Processos principais de um sistema distribuído, Manager e bancos de dados são implementados em nós principais. Os nós principais não podem ser expandidos. A capacidade de processamento desses nós determina o limite superior da capacidade de gerenciamento de todo o cluster. MRS possibilita a ampliação das especificações do nó principal para fornecer suporte ao gerenciamento de um cluster maior.
- Nó central: é usado tanto para armazenamento como para computação, e pode ser expandido ou reduzido. Já que os nós centrais admitem o armazenamento de dados, impõem-se diversas restrições à redução a fim de se evitar a perda de dados, e o dimensionamento automático não pode ser realizado.
- Nó de tarefa: usado apenas para computação e pode ser expandido ou reduzido. Os nós de tarefa admitem apenas tarefas de computação. Portanto, o dimensionamento automático é possível.
Você pode comprar um cluster em dois modos: compra personalizada e compra rápida.
- Compra personalizada: na página Custom Config, você pode configurar de forma flexível os parâmetros de cluster com base em cenários de aplicações, como o modo de cobrança e as especificações do ECS, para melhor atender às suas necessidades de serviço.
- Compra rápida: na página Quick Config, você pode comprar rapidamente um cluster com base em cenários de aplicações, melhorando a eficiência da configuração do cluster. Atualmente, os clusters de análise do Hadoop, os clusters do HBase e os clusters do Kafka estão disponíveis para sua compra rápida.
- Cluster de análise do Hadoop: usa componentes no ecossistema Hadoop de código aberto para analisar e consultar vastas quantidades de dados. Como exemplo, você pode usar o Yarn para gerenciar recursos do cluster, o Hive e o Spark para fornecer armazenamento off-line e computação de dados distribuídos em larga escala, o Spark Streaming e o Flink para oferecer computação de fluxo de dados, o Presto para permitir consultas interativas, e o Tez para fornecer uma estrutura de computação distribuída de gráficos acíclicos direcionados (DAGs).
- Cluster de HBase: usa componentes Hadoop e HBase para fornecer um sistema de armazenamento distribuído em nuvem orientado a colunas que possua confiabilidade aprimorada, excelente desempenho e escalabilidade elástica. Aplica-se ao armazenamento e à computação distribuída de grandes quantidades de dados. Você pode utilizar o HBase para criar um sistema de armazenamento capaz de armazenar dados em nível de TB ou mesmo PB. Com o HBase, é possível filtrar e analisar dados com facilidade e obter respostas em milissegundos, explorando rapidamente o valor dos dados.
- Cluster do Kafka: usa Kafka e Storm para fornecer um sistema de mensagens de código aberto com alta taxa de transferência e escalabilidade. É amplamente utilizado em casos de coleta de logs e de monitoramento da agregação de dados para implementar uma coleta eficiente de dados de streaming e o processamento e armazenamento de dados em tempo real.
Encerrar um cluster
O MRS permite que você encerrar um cluster quando ele não for mais necessário. Depois que o cluster for encerrado, todos os recursos de nuvem usados pelo cluster serão liberados. Antes de encerrar um cluster, é recomendável migrar ou fazer backup dos dados. Encerrar o cluster somente quando nenhum serviço estiver em execução no cluster ou o cluster estiver anormal e não puder fornecer serviços com base na análise de O&M. Se os dados forem armazenados em discos EVS ou discos de passagem em um cluster de Big Data, os dados serão excluídos após o término do cluster. Portanto, tenha cuidado ao encerrar um cluster.
