Cenários de aplicação
Big Data é onipresente em nossas vidas. Huawei Cloud MRS é adequado para processar Big Data em setores como Internet das Coisas (IoT), comércio eletrônico, finanças, manufatura, saúde, energia e departamentos governamentais.
Análise de dados em larga escala
A análise de dados em larga escala é um cenário importante nos sistemas modernos de Big Data. Geralmente, uma empresa tem várias fontes de dados. Depois que os dados são acessados, o processamento de extração, transformação e carga (ETL) é necessário para gerar dados modelados para cada módulo de serviço para analisar e classificar os dados. Este tipo de serviço tem as seguintes características:
- Os requisitos para execução em tempo real não são altos, e o tempo de execução de job varia de dezenas de minutos a horas.
- O volume de dados é grande.
- Existem várias fontes de dados e formatos diversificados.
- O processamento de dados geralmente consiste em várias tarefas, e os recursos precisam ser planejados em detalhes.
Na indústria de proteção ambiental, os dados climáticos são armazenados no OBS e periodicamente despejados no HDFS para análise em lote. 10 TB de dados climáticos podem ser analisados em 1 hora.
O MRS tem as seguintes vantagens neste cenário.
- Baixo custo: o OBS oferece armazenamento econômico.
- Análise maciça de dados: os dados de nível TB/PB são analisados pelo Hive.
- Ferramenta de importação e exportação de dados visualizados: o Loader exporta dados para o Data Warehouse Service (DWS) para análise de business intelligence (BI).
Armazenamento de dados em grande escala
Um usuário que tem uma grande quantidade de dados estruturados geralmente requer recursos de consulta em tempo quase real baseados em índice. Por exemplo, em um cenário de Internet de Veículos (IoV), as informações de manutenção do veículo são consultadas pelo número do veículo. Portanto, as informações do veículo são indexadas com base nos números do veículo quando estão sendo armazenadas, para implementar a resposta de segundo nível nesse cenário. Geralmente, o volume de dados é grande. O usuário pode armazenar dados por um a três anos.
Por exemplo, no setor de IoV, uma empresa de automóveis armazena dados no HBase, que suporta armazenamento no nível PB e consultas CDR em milissegundos.
O MRS tem as seguintes vantagens neste cenário.
- Em tempo real: Kafka acessa grandes quantidades de mensagens de veículos em tempo real.
- Armazenamento maciço de dados: o HBase armazena grandes volumes de dados e suporta consultas de dados em milissegundos.
- Consulta de dados distribuídos: o Spark analisa e consulta volumes massivos de dados.
Processamento de dados em tempo real
O processamento de dados em tempo real é geralmente usado em cenários como detecção de anomalias, detecção de fraudes, alarmes baseados em regras e monitoramento de processos de serviço. Os dados são processados enquanto estão sendo inseridos no sistema.
Por exemplo, na indústria de elevadores e escadas rolantes (IoEE), os dados de elevadores e escadas rolantes inteligentes são importados para clusters de streaming de MRS em tempo real para alarmes em tempo real.
O MRS tem as seguintes vantagens neste cenário.
- Ingestão de dados em tempo real: o Flume implementa a ingestão de dados em tempo real e fornece vários métodos de acesso de coleta e armazenamento de dados.
- Acesso à fonte de dados: Kafka acessa dados de dezenas de milhares de elevadores e escadas rolantes em tempo real.
