Auto Scaling

Introdução de recurso

Cada vez mais empresas usam tecnologias como Spark e Hive para analisar dados. O processamento de uma grande quantidade de dados consome enormes recursos e custa muito. Normalmente, as empresas regularmente analisam dados em um período fixo de tempo todos os dias, em vez do dia todo. Para atender aos requisitos das empresas, o MRS fornece a função de dimensionamento automático para solicitar recursos extras durante os horários de pico e liberar recursos fora dos horários de pico. Isso permite que os usuários usem recursos sob demanda e se concentrem no negócio principal a custos mais baixos.

Em aplicativos de Big Data, especialmente em cenários periódicos de análise e processamento de dados, os recursos de computação de cluster precisam ser ajustados dinamicamente com base nas alterações de dados de serviço para atender aos requisitos de serviço. A função de dimensionamento automático do MRS permite que os clusters sejam expandidos elasticamente ou reduzidos com base nas cargas do cluster. Além disso, se o volume de dados mudar regularmente e você quiser expandir para fora ou reduzir um cluster antes das alterações de volume de dados, você pode usar o recurso de plano de recursos MRS.

O MRS suporta dois tipos de políticas de dimensionamento automático: regras de dimensionamento automático e planos de recursos

• Regra de dimensionamento automático: você pode aumentar ou diminuir os nós de tarefa com base nas cargas de cluster em tempo real. O dimensionamento automático será acionado quando o volume de dados mudar, mas pode haver algum atraso.
• Planos de recursos: se o volume de dados mudar periodicamente, você poderá criar planos de recursos para redimensionar o cluster antes que o volume de dados seja alterado, evitando assim um atraso no aumento ou diminuição de recursos.

Tanto as regras de dimensionamento automático quanto os planos de recursos podem acionar dimensionamento automático. Você pode configurar ambas ou configurar uma delas. A configuração de planos de recursos e regras de dimensionamento automático melhora a escalabilidade do nó do cluster para lidar com picos de volume de dados ocasionalmente inesperados.

Em alguns cenários de serviço, os recursos precisam ser realocados ou a lógica de serviço precisa ser modificada após a expansão ou a ampliação do cluster. Se você expandir ou reduzir manualmente em um cluster, poderá efetuar logon nos nós do cluster para realocar recursos ou modificar a lógica do serviço. Se você usar o dimensionamento automático, o MRS permite que você personalize scripts de automação para realocação de recursos e modificação de lógica de serviço. Os scripts de automação podem ser executados antes e depois do dimensionamento automático e se adaptam automaticamente às alterações de carga de serviço, o que elimina as operações manuais. Além disso, os scripts de automação podem ser totalmente personalizados e executados em vários momentos, o que pode atender às suas necessidades personalizadas e melhorar a flexibilidade do dimensionamento automático.

Benefícios aos clientes

O dimensionamento automático do MRS oferece os seguintes benefícios:

• Reduzir custos

  As empresas não analisam dados o tempo todo, mas realizam uma análise de dados em lote em um período de tempo especificado, por exemplo, 03:00 da manhã. A análise do lote pode levar apenas duas horas.

  A função de dimensionamento automático permite que as empresas adicionem nós para análise em lote e liberem automaticamente os nós após a conclusão da análise, minimizando os custos.

• Atender aos requisitos de consulta instantânea

  As empresas geralmente encontram tarefas de análise instantânea, por exemplo, relatórios de dados para apoiar a tomada de decisões corporativas. Como resultado, o consumo de recursos aumenta acentuadamente em um curto período de tempo. Com a função de dimensionamento automático, os nós de computação podem ser adicionados para análise de Big Data emergente, evitando uma interrupção do serviço devido a recursos de computação insuficientes. Desta forma, você não precisa comprarcriar recursos extras. Depois que a emergência termina, o MRS libera automaticamente os nós.

• Focar no negócio principal

  É difícil para os desenvolvedores determinar o consumo de recursos na plataforma de desenvolvimento secundário de Big Data devido a condições complexas de análise de consulta (como classificação global, filtragem e mesclagem) e complexidade de dados, por exemplo, incerteza de dados incrementais. Como resultado, estimar o volume de computação é difícil. A função de dimensionamento automático do MRS permite que os desenvolvedores se concentrem no desenvolvimento de serviços sem a necessidade de estimativa de recursos.